如何压缩 json 行文件并上传到 Azure 容器？

Question

我在数据块中工作，有一个 Pyspark 数据框，我正在将其转换为 pandas，然后转换为 json 行文件，并希望将其上传到 Azure 容器（ADLS gen2 ).文件很大，想先压缩再上传。

我首先将 pyspark 数据帧转换为 pandas。

pandas_df = df.select("*").toPandas()

然后将其转换为换行分隔 json:

json_lines_data = pandas_df.to_json(orient='records', lines=True)

然后使用以下函数写入 blob 存储：

def upload_blob(json_lines_data, connection_string, container_name, blob_name): 
  blob_service_client = BlobServiceClient.from_connection_string(connection_string) 
  blob_client = blob_service_client.get_blob_client(container=container_name, blob=blob_name) 
  try: 
    blob_client.get_blob_properties() 
    blob_client.delete_blob() 
  # except if no delete necessary
  except: 
    pass
  blob_client.upload_blob(json_lines_data)

这工作正常，但每个文件的数据大约为 3 GB，下载需要很长时间，所以我宁愿压缩文件。这里的任何人都可以帮助如何压缩 json 行文件并将其上传到 azure 容器吗？我尝试了很多不同的东西，但没有任何效果。

如果在数据块中有更好的方法来做到这一点，我可以改变它。我没有使用数据块编写，因为我需要输出 1 个文件并控制文件名。

Answer 1

有一种方法可以在上传到 blob 存储之前压缩 JSON 文件。

这是将数据转换为 JSON 并转换为二进制代码 (utf-8) 最后压缩的代码。

建议您在上传功能之前添加此代码。

import json
import gzip

def compress_data(data):
    # Convert to JSON
    json_data = json.dumps(data, indent=2)
    # Convert to bytes
    encoded = json_data.encode('utf-8')
    # Compress
    compressed = gzip.compress(encoded)

参考：https://gist.github.com/LouisAmon/4bd79b8ab80d3851601f3f9016300ac4#file-json_to_gzip-py

如何压缩 json 行文件并上传到 Azure 容器？

How to compress a json lines file and uploading to azure container?

python

pyspark

azure-storage

gzip

azure-databricks