HDFS 用于大数据存储和 Azure 存储

HDFS is for Big Data storage and Azure storage

我正在使用 HDFS 来存储数据文件。想知道有没有办法使用 Azure 存储来代替 HDFS?如果有怎么办。 我正在使用 Spark 和 Python.

Post一个答案结束这个问题。正如@Joel Cochran 评论的那样,您可以使用完全兼容 HDFS 的 Azure Data Lake Gen2。可以参考https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-introduction启动