Azure 机器学习 - 创建数据框时出现内存错误

Question

我在使用笔记本 VM 作为计算实例创建从 Azure 机器学习上的 CSV 文件读取的简单数据帧时遇到内存错误。 VM 在 Ubuntu (Linux (ubuntu 16.04) 上配置 DS 13 56gb RAM、8vcpu、112gb 存储。CSV 文件是 5gb 文件。

blob_service = BlockBlobService(account_name,account_key)
blobstring = blob_service.get_blob_to_text(container,filepath).content
dffinaldata = pd.read_csv(StringIO(blobstring), sep=',')

我做错了什么？

Answer 1

调用get_blob_to_text时需要提供正确的编码，请参考sample.

下面的代码通常用于读取 blob 存储中的数据文件。基本上，您可以将 blob 的 url 与 sas 令牌一起使用，并使用请求方法。但是，您可能希望根据您拥有的数据类型（例如 csv、jpg 等）编辑“for 循环”。

-- Python 下面的代码 --

import requests
from azure.storage.blob import BlockBlobService, BlobPermissions
from azure.storage.blob.baseblobservice import BaseBlobService
from datetime import datetime, timedelta

account_name = '<account_name>'
account_key = '<account_key>'
container_name = '<container_name>'

blob_service=BlockBlobService(account_name,account_key)
generator = blob_service.list_blobs(container_name)

for blob in generator:
    url = f"https://{account_name}.blob.core.windows.net/{container_name}"
    service = BaseBlobService(account_name=account_name, account_key=account_key)
    token = service.generate_blob_shared_access_signature(container_name, img_name, permission=BlobPermissions.READ, expiry=datetime.utcnow() + timedelta(hours=1),)
    url_with_sas = f"{url}?{token}"
    response = requests.get(url_with_sas)

请按照以下link读取Azure Blob Storage上的数据。 https://docs.microsoft.com/en-us/azure/machine-learning/how-to-access-data

Azure 机器学习 - 创建数据框时出现内存错误

Azure Machine Learning - Memory Error while creating dataframe

python

azure

azure-machine-learning-service