从 Azure ML 实验中访问 Azure blob 存储
Access Azure blob storage from within an Azure ML experiment
Azure ML 实验提供了通过 Reader 和 Writer 模块将 CSV 文件读取和写入 Azure blob 存储的方法。但是，我需要将 JSON 文件写入 blob 存储。由于没有这样做的模块，我试图从 Execute Python Script 模块中这样做。
# Import the necessary items
from azure.storage.blob import BlobService
def azureml_main(dataframe1 = None, dataframe2 = None):
account_name = 'mystorageaccount'
account_key='mykeyhere=='
json_string='{jsonstring here}'
blob_service = BlobService(account_name, account_key)
blob_service.put_block_blob_from_text("upload","out.json",json_string)
# Return value must be of a sequence of pandas.DataFrame
return dataframe1,
但是，这会导致错误：ImportError: No module named azure.storage.blob
这意味着 azure-storage Python 包未安装在 Azure ML 上。
如何从 Azure ML 实验中写入 Azure blob 存储？
这是填充错误消息：
Error 0085: The following error occurred during script evaluation, please view the output log for more information:
---------- Start of error message from Python interpreter ----------
data:text/plain,Caught exception while executing function: Traceback (most recent call last):
File "C:\server\invokepy.py", line 162, in batch
mod = import_module(moduleName)
File "C:\pyhome\lib\importlib\__init__.py", line 37, in import_module
__import__(name)
File "C:\temp\azuremod.py", line 19, in <module>
from azure.storage.blob import BlobService
ImportError: No module named azure.storage.blob
---------- End of error message from Python interpreter ----------
Start time: UTC 02/06/2016 17:59:47
End time: UTC 02/06/2016 18:00:00`
谢谢大家！
更新：感谢 Dan 和 Peter 提出以下想法。这是我使用这些建议取得的进展。我创建了一个干净的 Python 2.7 虚拟环境（在 VS 2005 中），并做了 pip install azure-storage 以将依赖项放入我的站点包目录中。然后我压缩了 site-packages 文件夹并作为 Zip 文件上传，按照下面 Dan 的说明。然后我包含了对 site-packages 目录的引用并成功导入了所需的项目。这导致写入博客存储时出现超时错误。
这是我的代码：
# Get access to the uploaded Python packages
import sys
packages = ".\Script Bundle\site-packages"
sys.path.append(packages)
# Import the necessary items from packages referenced above
from azure.storage.blob import BlobService
from azure.storage.queue import QueueService
def azureml_main(dataframe1 = None, dataframe2 = None):
account_name = 'mystorageaccount'
account_key='p8kSy3F...elided...3plQ=='
blob_service = BlobService(account_name, account_key)
blob_service.put_block_blob_from_text("upload","out.txt","Test to write")
# All of the following also fail
#blob_service.create_container('images')
#blob_service.put_blob("upload","testme.txt","foo","BlockBlob")
#queue_service = QueueService(account_name, account_key)
#queue_service.create_queue('taskqueue')
# Return value must be of a sequence of pandas.DataFrame
return dataframe1,
这是新的错误日志：
Error 0085: The following error occurred during script evaluation, please view the output log for more information:
---------- Start of error message from Python interpreter ----------
data:text/plain,C:\pyhome\lib\site-packages\requests\packages\urllib3\util\ssl_.py:79: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
InsecurePlatformWarning
Caught exception while executing function: Traceback (most recent call last):
File "C:\server\invokepy.py", line 169, in batch
odfs = mod.azureml_main(*idfs)
File "C:\temp\azuremod.py", line 44, in azureml_main
blob_service.put_blob("upload","testme.txt","foo","BlockBlob")
File ".\Script Bundle\site-packages\azure\storage\blob\blobservice.py", line 883, in put_blob
self._perform_request(request)
File ".\Script Bundle\site-packages\azure\storage\storageclient.py", line 171, in _perform_request
resp = self._filter(request)
File ".\Script Bundle\site-packages\azure\storage\storageclient.py", line 160, in _perform_request_worker
return self._httpclient.perform_request(request)
File ".\Script Bundle\site-packages\azure\storage\_http\httpclient.py", line 181, in perform_request
self.send_request_body(connection, request.body)
File ".\Script Bundle\site-packages\azure\storage\_http\httpclient.py", line 143, in send_request_body
connection.send(request_body)
File ".\Script Bundle\site-packages\azure\storage\_http\requestsclient.py", line 81, in send
self.response = self.session.request(self.method, self.uri, data=request_body, headers=self.headers, timeout=self.timeout)
File "C:\pyhome\lib\site-packages\requests\sessions.py", line 464, in request
resp = self.send(prep, **send_kwargs)
File "C:\pyhome\lib\site-packages\requests\sessions.py", line 576, in send
r = adapter.send(request, **kwargs)
File "C:\pyhome\lib\site-packages\requests\adapters.py", line 431, in send
raise SSLError(e, request=request)
SSLError: The write operation timed out
---------- End of error message from Python interpreter ----------
Start time: UTC 02/10/2016 15:33:00
End time: UTC 02/10/2016 15:34:18
我目前的探索方向是 azure-storage 中的 requests Python 包存在依赖关系。 requests 在 Python 2.7 中有一个已知错误，用于调用较新的 SSL 协议。不确定，但我现在正在那个区域四处挖掘。
更新 2：这段代码 运行 在 Python 3 Jupyter notebook 中完全没问题。此外，如果我让 Blob 容器对 public 访问开放，我可以通过 URL 直接从容器读取。例如：df = pd.read_csv("https://mystorageaccount.blob.core.windows.net/upload/test.csv") 轻松地从 blob 存储加载文件。但是，我不能使用 azure.storage.blob.BlobService 从同一个文件中读取。
更新 3：Dan 在下面的评论中建议我尝试使用托管在 Azure ML 上的 Jupyter notebooks 。我从本地的 Jupyter notebook 运行ning 了它（见上面的更新 2）。 但是，当从 Azure ML Notebook 运行 时失败，并且错误再次指向 requires 包。我需要找到该软件包的已知问题，但根据我的阅读，已知问题与 urllib3 有关，并且仅影响 Python 2.7 而不是任何 Python 3.x 版本。这是 Python 3.x 笔记本中的 运行。呜呜呜
更新 4：正如 Dan 在下面指出的那样，这可能是 Azure ML 网络的一个问题，因为 Execute Python Script 相对较新并且刚刚获得网络支持。但是，我还在完全不同的 Azure 平台上的 Azure App Service webjob 上对此进行了测试。 （它也在完全不同的 Python 发行版上，同时支持 Python 2.7 和 3.4/5，但仅支持 32 位 - 即使在 64 位机器上也是如此。）那里的代码也失败了，带有 InsecurePlatformWarning留言。
[02/08/2016 15:53:54 > b40783: SYS INFO] Run script 'ListenToQueue.py' with script host - 'PythonScriptHost'
[02/08/2016 15:53:54 > b40783: SYS INFO] Status changed to Running
[02/08/2016 15:54:09 > b40783: INFO] test.csv
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:315: SNIMissingWarning: An HTTPS request has been made, but the SNI (Subject Name Indication) extension to TLS is not available on this platform. This may cause the server to present an incorrect TLS certificate, which can cause validation failures. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#snimissingwarning.
[02/08/2016 15:54:09 > b40783: ERR ] SNIMissingWarning
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:120: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
[02/08/2016 15:54:09 > b40783: ERR ] InsecurePlatformWarning
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:120: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
[02/08/2016 15:54:09 > b40783: ERR ] InsecurePlatformWarning
你走的路是正确的。 Execution Python Script 模块就是为了满足这样的自定义需求。您真正的问题是如何导入现有的 Python 脚本模块。完整的说明可以在这里找到，但我会总结一下。
您需要使用 Azure Python SDK 并将其压缩、上传，然后导入到您的模块中。我可以研究为什么默认情况下不存在...
https://azure.microsoft.com/en-us/documentation/articles/machine-learning-execute-python-scripts/
正在导入现有的 Python 脚本模块
许多数据科学家的一个常见用例是将现有 Python 脚本合并到 Azure 机器学习实验中。 Execute Python Script 模块不是将所有代码连接并粘贴到单个脚本框中，而是接受第三个输入端口，可以将包含 Python 模块的 zip 文件连接到该端口。然后，执行框架在 运行 时解压缩该文件，并将内容添加到 Python 解释器的库路径中。 azureml_main 入口函数可以直接导入这些模块。
例如，假设文件 Hello.py 包含一个简单的“Hello, World”函数。
图 4. 用户自定义函数。
接下来，我们可以创建一个文件 Hello.zip 包含 Hello.py:
图 5. 包含用户定义的 Python 代码的 Zip 文件。
然后，将其作为数据集上传到 Azure 机器学习工作室。如果我们然后创建并 运行 一个简单的实验 a 使用模块：
图 6. 使用用户定义的 Python 代码作为 zip 文件上传的示例实验。
模块输出显示zip文件已经解包，函数print_hello确实是运行。
图 7. Execute Python Script 模块中使用的用户定义函数。
据我所知，您可以通过提供给第三个输入的 zip 文件使用其他包。 Azure ML 中 Python 模板脚本中的注释说：
If a zip file is connected to the third input port is connected, it is unzipped under ".\Script Bundle". This directory is added to sys.path. Therefore, if your zip file contains a Python file mymodule.py you can import it using:
import mymodule
因此您可以通过单击 新建、单击 数据集、然后单击 [=30] 将 azure-storage-python 打包为 zip 文件=] 从本地文件 和 Zip 文件 选项将 ZIP 文件上传到您的工作区。
作为参考，您可以在文档 Execute Python Script 的 How to Use Execute Python Script 部分查看更多信息。
前面的底线：使用 HTTP 而不是 HTTPS 访问 Azure 存储。
在声明 BlobService 时传入 protocol='http' 以强制服务通过 HTTP 进行通信。请注意，您必须将容器配置为允许通过 HTTP 请求（默认情况下这样做）。
client = BlobService(STORAGE_ACCOUNT, STORAGE_KEY, protocol="http")
历史和信用：
我向@AzureHelps 发布了关于此主题的查询，他们在 MSDN 论坛上开了一张票：https://social.msdn.microsoft.com/Forums/azure/en-US/46166b22-47ae-4808-ab87-402388dd7a5c/trouble-writing-blob-storage-file-in-azure-ml-experiment?forum=MachineLearning&prof=required
Sudarshan Raghunathan 用魔法回复了。以下是让每个人都能轻松复制我的修复程序的步骤：
- 下载 azure.zip 提供所需的库：https://azuremlpackagesupport.blob.core.windows.net/python/azure.zip
- 将它们作为数据集上传到 Azure ML Studio
- 将它们连接到
Execute Python Script 模块上的 Zip 输入
- 像往常一样编写脚本，确保使用
protocol='http' 创建 BlobService 对象
- 运行 实验 - 您现在应该可以写入 blob 存储。
一些示例代码可以在这里找到：https://gist.github.com/drdarshan/92fff2a12ad9946892df
我使用的代码如下，它没有先将 CSV 写入文件系统，而是作为文本流发送。
from azure.storage.blob import BlobService
def azureml_main(dataframe1 = None, dataframe2 = None):
account_name = 'mystorageaccount'
account_key='p8kSy3FACx...redacted...ebz3plQ=='
container_name = "upload"
json_output_file_name = 'testfromml.json'
json_orient = 'records' # Can be index, records, split, columns, values
json_force_ascii=False;
blob_service = BlobService(account_name, account_key, protocol='http')
blob_service.put_block_blob_from_text(container_name,json_output_file_name,dataframe1.to_json(orient=json_orient, force_ascii=json_force_ascii))
# Return value must be of a sequence of pandas.DataFrame
return dataframe1,
一些想法：
- 如果默认导入 azure Python 库，我会更喜欢。作为 Anaconda 发行版的一部分，Microsoft 将数百个第 3 方库导入到 Azure ML 中。它们还应包括使用 Azure 所必需的那些。我们在 Azure，我们致力于 Azure。拥抱它。
- 我不喜欢必须使用 HTTP 而不是 HTTPS。诚然，这是 Azure 内部通信，因此可能没什么大不了的。但是，大多数文档都建议在使用 blob 存储时使用 SSL / HTTPS，因此我更希望能够做到这一点。
- 我在实验中仍然遇到随机超时错误。有时 Python 代码会在几毫秒内执行，有时它会运行几 60 或几秒然后超时。这使得 运行 它在实验中有时非常令人沮丧。但是，当作为 Web 服务发布时，我似乎没有这个问题。
- 我更希望本地代码的体验与 Azure ML 更接近。在本地，我可以使用 HTTPS 并且永远不会超时。它速度极快，而且易于编写。但转移到 Azure ML 实验意味着几乎每次都要进行一些调试。
非常感谢来自 Microsoft 的 Dan、Peter 和 Sudarshan，感谢他们帮助解决了这个问题。非常感谢！
Azure ML 实验提供了通过 Reader 和 Writer 模块将 CSV 文件读取和写入 Azure blob 存储的方法。但是，我需要将 JSON 文件写入 blob 存储。由于没有这样做的模块，我试图从 Execute Python Script 模块中这样做。
# Import the necessary items
from azure.storage.blob import BlobService
def azureml_main(dataframe1 = None, dataframe2 = None):
account_name = 'mystorageaccount'
account_key='mykeyhere=='
json_string='{jsonstring here}'
blob_service = BlobService(account_name, account_key)
blob_service.put_block_blob_from_text("upload","out.json",json_string)
# Return value must be of a sequence of pandas.DataFrame
return dataframe1,
但是，这会导致错误：ImportError: No module named azure.storage.blob
这意味着 azure-storage Python 包未安装在 Azure ML 上。
如何从 Azure ML 实验中写入 Azure blob 存储？
这是填充错误消息：
Error 0085: The following error occurred during script evaluation, please view the output log for more information:
---------- Start of error message from Python interpreter ----------
data:text/plain,Caught exception while executing function: Traceback (most recent call last):
File "C:\server\invokepy.py", line 162, in batch
mod = import_module(moduleName)
File "C:\pyhome\lib\importlib\__init__.py", line 37, in import_module
__import__(name)
File "C:\temp\azuremod.py", line 19, in <module>
from azure.storage.blob import BlobService
ImportError: No module named azure.storage.blob
---------- End of error message from Python interpreter ----------
Start time: UTC 02/06/2016 17:59:47
End time: UTC 02/06/2016 18:00:00`
谢谢大家！
更新：感谢 Dan 和 Peter 提出以下想法。这是我使用这些建议取得的进展。我创建了一个干净的 Python 2.7 虚拟环境（在 VS 2005 中），并做了 pip install azure-storage 以将依赖项放入我的站点包目录中。然后我压缩了 site-packages 文件夹并作为 Zip 文件上传，按照下面 Dan 的说明。然后我包含了对 site-packages 目录的引用并成功导入了所需的项目。这导致写入博客存储时出现超时错误。
这是我的代码：
# Get access to the uploaded Python packages
import sys
packages = ".\Script Bundle\site-packages"
sys.path.append(packages)
# Import the necessary items from packages referenced above
from azure.storage.blob import BlobService
from azure.storage.queue import QueueService
def azureml_main(dataframe1 = None, dataframe2 = None):
account_name = 'mystorageaccount'
account_key='p8kSy3F...elided...3plQ=='
blob_service = BlobService(account_name, account_key)
blob_service.put_block_blob_from_text("upload","out.txt","Test to write")
# All of the following also fail
#blob_service.create_container('images')
#blob_service.put_blob("upload","testme.txt","foo","BlockBlob")
#queue_service = QueueService(account_name, account_key)
#queue_service.create_queue('taskqueue')
# Return value must be of a sequence of pandas.DataFrame
return dataframe1,
这是新的错误日志：
Error 0085: The following error occurred during script evaluation, please view the output log for more information:
---------- Start of error message from Python interpreter ----------
data:text/plain,C:\pyhome\lib\site-packages\requests\packages\urllib3\util\ssl_.py:79: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
InsecurePlatformWarning
Caught exception while executing function: Traceback (most recent call last):
File "C:\server\invokepy.py", line 169, in batch
odfs = mod.azureml_main(*idfs)
File "C:\temp\azuremod.py", line 44, in azureml_main
blob_service.put_blob("upload","testme.txt","foo","BlockBlob")
File ".\Script Bundle\site-packages\azure\storage\blob\blobservice.py", line 883, in put_blob
self._perform_request(request)
File ".\Script Bundle\site-packages\azure\storage\storageclient.py", line 171, in _perform_request
resp = self._filter(request)
File ".\Script Bundle\site-packages\azure\storage\storageclient.py", line 160, in _perform_request_worker
return self._httpclient.perform_request(request)
File ".\Script Bundle\site-packages\azure\storage\_http\httpclient.py", line 181, in perform_request
self.send_request_body(connection, request.body)
File ".\Script Bundle\site-packages\azure\storage\_http\httpclient.py", line 143, in send_request_body
connection.send(request_body)
File ".\Script Bundle\site-packages\azure\storage\_http\requestsclient.py", line 81, in send
self.response = self.session.request(self.method, self.uri, data=request_body, headers=self.headers, timeout=self.timeout)
File "C:\pyhome\lib\site-packages\requests\sessions.py", line 464, in request
resp = self.send(prep, **send_kwargs)
File "C:\pyhome\lib\site-packages\requests\sessions.py", line 576, in send
r = adapter.send(request, **kwargs)
File "C:\pyhome\lib\site-packages\requests\adapters.py", line 431, in send
raise SSLError(e, request=request)
SSLError: The write operation timed out
---------- End of error message from Python interpreter ----------
Start time: UTC 02/10/2016 15:33:00
End time: UTC 02/10/2016 15:34:18
我目前的探索方向是 azure-storage 中的 requests Python 包存在依赖关系。 requests 在 Python 2.7 中有一个已知错误，用于调用较新的 SSL 协议。不确定，但我现在正在那个区域四处挖掘。
更新 2：这段代码 运行 在 Python 3 Jupyter notebook 中完全没问题。此外，如果我让 Blob 容器对 public 访问开放，我可以通过 URL 直接从容器读取。例如：df = pd.read_csv("https://mystorageaccount.blob.core.windows.net/upload/test.csv") 轻松地从 blob 存储加载文件。但是，我不能使用 azure.storage.blob.BlobService 从同一个文件中读取。
更新 3：Dan 在下面的评论中建议我尝试使用托管在 Azure ML 上的 Jupyter notebooks 。我从本地的 Jupyter notebook 运行ning 了它（见上面的更新 2）。 但是，当从 Azure ML Notebook 运行 时失败，并且错误再次指向 requires 包。我需要找到该软件包的已知问题，但根据我的阅读，已知问题与 urllib3 有关，并且仅影响 Python 2.7 而不是任何 Python 3.x 版本。这是 Python 3.x 笔记本中的 运行。呜呜呜
更新 4：正如 Dan 在下面指出的那样，这可能是 Azure ML 网络的一个问题，因为 Execute Python Script 相对较新并且刚刚获得网络支持。但是，我还在完全不同的 Azure 平台上的 Azure App Service webjob 上对此进行了测试。 （它也在完全不同的 Python 发行版上，同时支持 Python 2.7 和 3.4/5，但仅支持 32 位 - 即使在 64 位机器上也是如此。）那里的代码也失败了，带有 InsecurePlatformWarning留言。
[02/08/2016 15:53:54 > b40783: SYS INFO] Run script 'ListenToQueue.py' with script host - 'PythonScriptHost'
[02/08/2016 15:53:54 > b40783: SYS INFO] Status changed to Running
[02/08/2016 15:54:09 > b40783: INFO] test.csv
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:315: SNIMissingWarning: An HTTPS request has been made, but the SNI (Subject Name Indication) extension to TLS is not available on this platform. This may cause the server to present an incorrect TLS certificate, which can cause validation failures. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#snimissingwarning.
[02/08/2016 15:54:09 > b40783: ERR ] SNIMissingWarning
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:120: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
[02/08/2016 15:54:09 > b40783: ERR ] InsecurePlatformWarning
[02/08/2016 15:54:09 > b40783: ERR ] D:\home\site\wwwroot\env\Lib\site-packages\requests\packages\urllib3\util\ssl_.py:120: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
[02/08/2016 15:54:09 > b40783: ERR ] InsecurePlatformWarning
你走的路是正确的。 Execution Python Script 模块就是为了满足这样的自定义需求。您真正的问题是如何导入现有的 Python 脚本模块。完整的说明可以在这里找到，但我会总结一下。
您需要使用 Azure Python SDK 并将其压缩、上传，然后导入到您的模块中。我可以研究为什么默认情况下不存在...
https://azure.microsoft.com/en-us/documentation/articles/machine-learning-execute-python-scripts/
正在导入现有的 Python 脚本模块
许多数据科学家的一个常见用例是将现有 Python 脚本合并到 Azure 机器学习实验中。 Execute Python Script 模块不是将所有代码连接并粘贴到单个脚本框中，而是接受第三个输入端口，可以将包含 Python 模块的 zip 文件连接到该端口。然后，执行框架在 运行 时解压缩该文件，并将内容添加到 Python 解释器的库路径中。 azureml_main 入口函数可以直接导入这些模块。
例如，假设文件 Hello.py 包含一个简单的“Hello, World”函数。
图 4. 用户自定义函数。
接下来，我们可以创建一个文件 Hello.zip 包含 Hello.py:
图 5. 包含用户定义的 Python 代码的 Zip 文件。
然后，将其作为数据集上传到 Azure 机器学习工作室。如果我们然后创建并 运行 一个简单的实验 a 使用模块：
图 6. 使用用户定义的 Python 代码作为 zip 文件上传的示例实验。
模块输出显示zip文件已经解包，函数print_hello确实是运行。
据我所知，您可以通过提供给第三个输入的 zip 文件使用其他包。 Azure ML 中 Python 模板脚本中的注释说：
If a zip file is connected to the third input port is connected, it is unzipped under ".\Script Bundle". This directory is added to sys.path. Therefore, if your zip file contains a Python file mymodule.py you can import it using: import mymodule
因此您可以通过单击 新建、单击 数据集、然后单击 [=30] 将 azure-storage-python 打包为 zip 文件=] 从本地文件 和 Zip 文件 选项将 ZIP 文件上传到您的工作区。
作为参考，您可以在文档 Execute Python Script 的 How to Use Execute Python Script 部分查看更多信息。
前面的底线：使用 HTTP 而不是 HTTPS 访问 Azure 存储。
在声明 BlobService 时传入 protocol='http' 以强制服务通过 HTTP 进行通信。请注意，您必须将容器配置为允许通过 HTTP 请求（默认情况下这样做）。
client = BlobService(STORAGE_ACCOUNT, STORAGE_KEY, protocol="http")
历史和信用：
我向@AzureHelps 发布了关于此主题的查询，他们在 MSDN 论坛上开了一张票：https://social.msdn.microsoft.com/Forums/azure/en-US/46166b22-47ae-4808-ab87-402388dd7a5c/trouble-writing-blob-storage-file-in-azure-ml-experiment?forum=MachineLearning&prof=required
Sudarshan Raghunathan 用魔法回复了。以下是让每个人都能轻松复制我的修复程序的步骤：
- 下载 azure.zip 提供所需的库：https://azuremlpackagesupport.blob.core.windows.net/python/azure.zip
- 将它们作为数据集上传到 Azure ML Studio
- 将它们连接到
Execute Python Script模块上的 Zip 输入 - 像往常一样编写脚本，确保使用
protocol='http' 创建 - 运行 实验 - 您现在应该可以写入 blob 存储。
BlobService 对象
一些示例代码可以在这里找到：https://gist.github.com/drdarshan/92fff2a12ad9946892df
我使用的代码如下，它没有先将 CSV 写入文件系统，而是作为文本流发送。
from azure.storage.blob import BlobService
def azureml_main(dataframe1 = None, dataframe2 = None):
account_name = 'mystorageaccount'
account_key='p8kSy3FACx...redacted...ebz3plQ=='
container_name = "upload"
json_output_file_name = 'testfromml.json'
json_orient = 'records' # Can be index, records, split, columns, values
json_force_ascii=False;
blob_service = BlobService(account_name, account_key, protocol='http')
blob_service.put_block_blob_from_text(container_name,json_output_file_name,dataframe1.to_json(orient=json_orient, force_ascii=json_force_ascii))
# Return value must be of a sequence of pandas.DataFrame
return dataframe1,
一些想法：
- 如果默认导入 azure Python 库，我会更喜欢。作为 Anaconda 发行版的一部分，Microsoft 将数百个第 3 方库导入到 Azure ML 中。它们还应包括使用 Azure 所必需的那些。我们在 Azure，我们致力于 Azure。拥抱它。
- 我不喜欢必须使用 HTTP 而不是 HTTPS。诚然，这是 Azure 内部通信，因此可能没什么大不了的。但是，大多数文档都建议在使用 blob 存储时使用 SSL / HTTPS，因此我更希望能够做到这一点。
- 我在实验中仍然遇到随机超时错误。有时 Python 代码会在几毫秒内执行，有时它会运行几 60 或几秒然后超时。这使得 运行 它在实验中有时非常令人沮丧。但是，当作为 Web 服务发布时，我似乎没有这个问题。
- 我更希望本地代码的体验与 Azure ML 更接近。在本地，我可以使用 HTTPS 并且永远不会超时。它速度极快，而且易于编写。但转移到 Azure ML 实验意味着几乎每次都要进行一些调试。
非常感谢来自 Microsoft 的 Dan、Peter 和 Sudarshan，感谢他们帮助解决了这个问题。非常感谢！