不完整的 HDFS URI，没有主机，altohugh 文件确实存在

Question

我正在尝试使用以下代码通过 pyspark 访问我在 hdfs 中的文件：

spark = SparkSession.builder.appName("MongoDBIntegration").getOrCreate()
receipt = spark.read.json("hdfs:///bigdata/2.json")

我得到一个错误 Incomplete HDFS URI, no host: hdfs:///bigdata/2.json

但是如果我写命令 hdfs dfs -cat /bigdata/1.json 它会打印我的文件

Answer 1

错误消息说您没有在 HDFS URI 中指定主机。

尝试将 URI 更改为：

hdfs://<HDFS_HOST>:<HDFS_PORT>/bigdata/2.json

Incomplete HDFS URI, no host, altohugh file does exist