使用 java 从 eclipse 访问 hadoop 分布式文件系统

Question

这是使用java

访问HDFS的代码

         try {

            Configuration config = new Configuration();
            config.set("fs.defaultFS","hdfs://192.168.28.153:9000/");
            FileSystem dfs = FileSystem.get(config);
             Path pt = new Path("hdfs://192.168.28.153:9000/user/hduser/wordcountinput/input.txt");
             config.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
             BufferedReader br = new BufferedReader(new InputStreamReader(dfs.open(pt)));
             String line;
             line = br.readLine();
             while ((line = br.readLine()) != null) {
                 System.out.println(line);
                 line = br.readLine();
             }

执行后出现以下异常：

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the
 log4j.properties files. No FileSystem for scheme:
 hdfsjava.io.IOException: No FileSystem for scheme: hdfs
 at
 org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2138)
 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2145)
    at org.apache.hadoop.fs.FileSystem.access0(FileSystem.java:80)

连接有问题吗？我需要这方面的帮助，以便我可以进一步进行。是否缺少任何资源或其他内容。

Answer 1

只使用特定的罐子。有一堆不合适的罐子。

使用 java 从 eclipse 访问 hadoop 分布式文件系统

Accessing hadoop distributed file system from eclipse using java

java

hadoop

hdfs

hadoop2