访问 HDFS 中文件的 URI

Question

我已经使用 Ambari 设置了一个包含 3 个节点的集群。

现在我想使用我的客户端应用程序访问 HDFS 中的文件。

我可以在 Amabari 中的数据节点下找到所有节点 URI。

访问文件需要使用的 URI + 端口是什么？我已经使用了默认的安装过程。

Answer 1

默认端口为“8020”。

您可以通过 3 种不同的方式访问 "hdfs" 路径。

直接使用“/”作为根路径

例如

E:\HadoopTests\target>hadoop fs -ls /
Found 6 items
drwxrwxrwt   - hadoop  hdfs          0 2015-08-17 18:43 /app-logs
drwxr-xr-x   - mballur hdfs          0 2015-11-24 15:36 /tmp
drwxrwxr-x   - mballur hdfs          0 2015-10-20 15:27 /user

使用"hdfs:///"

例如

E:\HadoopTests\target>hadoop fs -ls hdfs:///
Found 6 items
drwxrwxrwt   - hadoop  hdfs          0 2015-08-17 18:43 hdfs:///app-logs
drwxr-xr-x   - mballur hdfs          0 2015-11-24 15:36 hdfs:///tmp
drwxrwxr-x   - mballur hdfs          0 2015-10-20 15:27 hdfs:///user

使用"hdfs://{NameNodeHost}:8020/"

例如

E:\HadoopTests\target>hadoop fs -ls hdfs://MBALLUR:8020/
Found 6 items
drwxrwxrwt   - hadoop  hdfs          0 2015-08-17 18:43 hdfs://MBALLUR:8020/app-logs
drwxr-xr-x   - mballur hdfs          0 2015-11-24 15:36 hdfs://MBALLUR:8020/tmp
drwxrwxr-x   - mballur hdfs          0 2015-10-20 15:27 hdfs://MBALLUR:8020/user

在这种情况下，"MBALLUR" 是我的名称节点主机的名称。

访问 HDFS 中文件的 URI

URI to access a file in HDFS

hdfs

ambari