azure.datalake.store.AdlFileSystem 在 Spark 中找不到

Question

我正在尝试使用 spark sql 查询放置在 Data Lake Store 中的 csv 文件。当我查询时，我得到 "java.lang.ClassNotFoundException: Class com.microsoft.azure.datalake.store.AdlFileSystem not found".

如何使用 spark sql 查询放置在 Data Lake Store 中的文件？请帮我做个样品。

csv 示例：

Id     Name     Designation
1      aaa      bbb
2      ccc      ddd
3      eee      fff

提前致谢，索旺达亚

Answer 1

您在创建 HDInsight 集群时似乎没有为 Data Lake Store 配置Cluster AAD Identity。

您可以尝试在 Azure 门户上使用 Data Lake Store 创建 HDInsight 的 Spark 集群，请参阅 https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-hdinsight-hadoop-use-portal/。

Answer 2

目前 HDInsight-Spark 集群不适用于 Azure Data Lake Storage。一旦我们得到支持，它就会无缝运行。同时，您可以使用 U-SQL 查询尝试将 ADL Analytics 用于 ADLS 上的同一作业。如需参考，请访问 link：https://azure.microsoft.com/en-us/documentation/articles/data-lake-analytics-get-started-portal/ 我们正在努力争取支持，目前的目标是在 2016 年夏季之前的一段时间内提供。希望对你有帮助。

谢谢，苏拉布。

Answer 3

今天试了几个小时才弄明白...把它留在这里以防其他人需要帮助！

对于 Hadoop 3.0.1，确保在 hadoop-env.sh 文件

中取消注释以下内容

export HADOOP_OPTIONAL_TOOLS

azure.datalake.store.AdlFileSystem 在 Spark 中找不到

azure.datalake.store.AdlFileSystem not found in Spark

java

azure

apache-spark

cortana-intelligence

azure-data-lake