与 Databricks 兼容的 Azure 文件共享解决方案
Azure File-Sharing Solutions Compatible With Databricks
我正在 tools/services 的 Azure 生态系统中寻找文件共享解决方案。
当前的需求是能够从 Databricks 中 运行 的脚本将数千个文件(每周 3-4 千个)写入允许从其他几个访问的存储解决方案非技术用户。生成报告的脚本是 Python 脚本,而不是 PySpark,尽管它在数据块中确实 运行(许多 PySpark 作业在它之前)。存储解决方案必须允许:
1) writing/saving excel 和 html 文件来自 Python
2) 用户一次查看和下载多个文件(我相信这会破坏 Blob 存储?)
谢谢!
感谢您分享您的问题。如果
Azure 确实提供了您可以使用的数据共享服务。 Azure Data Share 可以让您将 Python 脚本写入的存储区与非技术用户读取的存储区分开。
对于第 1 点,我没有发现任何问题。 Azure 上的存储解决方案大多与文件类型无关。从技术上讲,可以写入任何存储解决方案,主要区别在于写入过程的难易程度或时间长短。
关于第 2 点,我认为您的意思是您的非技术人员可以轻松访问存储。可以一次从 Blob 存储下载多个文件,但门户网站可能不是执行此操作的最用户友好的方式。我建议您查看 Azure Storage Explorer。 Azure 存储资源管理器提供一个客户端应用程序,您的用户可以使用它管理或下载所有 Azure 存储解决方案中的文件。
鉴于您如何指定 html 个文件,并且一次查看多个文件,我怀疑您想像浏览器一样呈现这些文件。许多资源都有一个 URI。如果 自包含 html 文件在 Blob 存储或 ADLS gen2 中可公开访问,并且您在浏览器中导航到它,html 页面将呈现.
我正在 tools/services 的 Azure 生态系统中寻找文件共享解决方案。
当前的需求是能够从 Databricks 中 运行 的脚本将数千个文件(每周 3-4 千个)写入允许从其他几个访问的存储解决方案非技术用户。生成报告的脚本是 Python 脚本,而不是 PySpark,尽管它在数据块中确实 运行(许多 PySpark 作业在它之前)。存储解决方案必须允许:
1) writing/saving excel 和 html 文件来自 Python
2) 用户一次查看和下载多个文件(我相信这会破坏 Blob 存储?)
谢谢!
感谢您分享您的问题。如果
Azure 确实提供了您可以使用的数据共享服务。 Azure Data Share 可以让您将 Python 脚本写入的存储区与非技术用户读取的存储区分开。
对于第 1 点,我没有发现任何问题。 Azure 上的存储解决方案大多与文件类型无关。从技术上讲,可以写入任何存储解决方案,主要区别在于写入过程的难易程度或时间长短。
关于第 2 点,我认为您的意思是您的非技术人员可以轻松访问存储。可以一次从 Blob 存储下载多个文件,但门户网站可能不是执行此操作的最用户友好的方式。我建议您查看 Azure Storage Explorer。 Azure 存储资源管理器提供一个客户端应用程序,您的用户可以使用它管理或下载所有 Azure 存储解决方案中的文件。
鉴于您如何指定 html 个文件,并且一次查看多个文件,我怀疑您想像浏览器一样呈现这些文件。许多资源都有一个 URI。如果 自包含 html 文件在 Blob 存储或 ADLS gen2 中可公开访问,并且您在浏览器中导航到它,html 页面将呈现.