不正确的 HDFS 文件 URL
Incorrect HDFS File URL
我试图访问 HDFS 中的一个文件(位置:/user/input/UsageSummary.txt)。我不确定这个文件的 URL 是什么。
我试过这个 url 但没有用:
hdfs://127.0.0.1:9000/user/input/UsageSummary.txt
即使我尝试了这些,但都没有用:
hdfs://localhost:9000/user/input/UsageSummary.txt
hdfs://localhost/user/input/UsageSummary.txt
请告诉我如何找出正确的 URL。
编辑
这是 core-site.xml
文件的内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
<!-- HTTPFS proxy user setting -->
<property>
<name>hadoop.proxyuser.tomcat.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.tomcat.groups</name>
<value>*</value>
</property>
</configuration>
通常,HDFS 资源路径为
hdfs://<NameNodeHost>:<port>/path to resource
如果你只是想打印一个文件内容,下面的就足够了。
hadoop fs -cat /user/input/UsageSummary.txt
您得到的输出或错误是什么,您运行在哪种模式下使用 hadoop - 本地、完全或伪分布式?
你在核心site.xml中设置了什么fs.defaultFS?如果它设置为 hdfs://host:port/ 你应该能够 运行 类似
hdfs dfs -cat /user/input/UsageSummary.txt
或 运行
hdfs dfs -ls /
查看 root 确保目录结构确实存在。
我试图访问 HDFS 中的一个文件(位置:/user/input/UsageSummary.txt)。我不确定这个文件的 URL 是什么。
我试过这个 url 但没有用:
hdfs://127.0.0.1:9000/user/input/UsageSummary.txt
即使我尝试了这些,但都没有用:
hdfs://localhost:9000/user/input/UsageSummary.txt
hdfs://localhost/user/input/UsageSummary.txt
请告诉我如何找出正确的 URL。
编辑
这是 core-site.xml
文件的内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
<!-- HTTPFS proxy user setting -->
<property>
<name>hadoop.proxyuser.tomcat.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.tomcat.groups</name>
<value>*</value>
</property>
</configuration>
通常,HDFS 资源路径为
hdfs://<NameNodeHost>:<port>/path to resource
如果你只是想打印一个文件内容,下面的就足够了。
hadoop fs -cat /user/input/UsageSummary.txt
您得到的输出或错误是什么,您运行在哪种模式下使用 hadoop - 本地、完全或伪分布式?
你在核心site.xml中设置了什么fs.defaultFS?如果它设置为 hdfs://host:port/ 你应该能够 运行 类似 hdfs dfs -cat /user/input/UsageSummary.txt 或 运行 hdfs dfs -ls / 查看 root 确保目录结构确实存在。