将 DF 保存到 Azure Blob

Question

我正在尝试保存从函数 return 编辑的 df (return df)。我正在尝试将其推送到我的 azure blob 存储帐户。

我遇到了一些麻烦，因为我找到的所有解决方案都需要一个文件路径，但是我只想运行数据帧上的一些代码并将其自动保存到 azure blob。

根据要求，我的代码片段 :)

如上所述，我希望将 df（一个 pandas 数据帧）作为 .csv 文件保存到 blob 中，我不是在寻找其他信息。

import pandas as pd
import numpy as np
import datetime
import os, uuid
from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient, __version__

def function (df):
    df = df.rename(columns=df.iloc[1]).drop(df.index[0])
    df = df.iloc[1:]
    indexNames = df[df['Customer'].isin(['Stock', 'Sales', 'Over', '2021 Under'])].index
    df = df.drop(indexNames)
    df.columns = df.columns.fillna('ItemNo')
    for col in df:
        df['ItemNo'] = df['ItemNo'].ffill()
        
    
    return df

CONNECTION_STRING = ""
CONTAINERNAME = ""
BLOBNAME = ""
LOCALFILENAME = "" 

blob_service_client = BlobServiceClient.from_connection_string(CONNECTION_STRING) #instantiate new blobservice with connection string
#container_client = blob_service_client.get_container_client(CONTAINERNAME) #instantiate new containerclient
blob_client = blob_service_client.get_blob_client(container = CONTAINERNAME, blob=BLOBNAME)

#READ PRODUCTS FILE
f = open(LOCALFILENAME, "wb")
f.write(blob_client.download_blob().content_as_bytes())
f.close()
df = pd.read_excel(r''+LOCALFILENAME)

Answer 1

也许你可以试试下面的代码：

    temp_path = tempfile.gettempdir()
    file_path = os.path.join(temp_path, 'dataframe.csv')
    df.to_csv (file_path)
    with open(file_path, "rb") as data:
        blob_client.upload_blob(data)

将 DF 保存到 Azure Blob

Saving a DF to azure blob

python

etl

data-transfer

dataframe

azure-blob-storage