找不到 Hadoop Java Class
Hadoop Java Class cannot be found
线程异常 "main" java.lang.ClassNotFoundException:WordCount-> 很多答案都与这个问题有关,看来我肯定又漏掉了一个小问题,这花了我几个小时才弄明白。
我会尽可能清楚地说明路径、代码本身以及我尝试过但没有奏效的其他可能的解决方案。
我有点确定我正确配置了 Hadoop,因为直到最后阶段一切正常。
但仍然发布详细信息:
- 环境变量和路径
>
HADOOP VARIABLES START
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_CLASSPATH=/usr/lib/jvm/java-8-oracle/lib/tools.jar
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP VARIABLES END
Class本身:
package com.cloud.hw03;
/**
* Hello world!
*
*/
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCount {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "wordcount");
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setJarByClass(WordCount.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
我为编译做了什么 运行:
在与我的 WordCount maven 项目 (eclipse-workspace) 相同的文件夹中创建了 jar 文件
$ hadoop com.sun.tools.javac.Main WordCount.java
$ jar cf WordCount.jar WordCount*.class
运行 程序:(我已经在 hdfs 中创建了一个目录并复制了输入输出文件)
hadoop jar WordCount.jar WordCount /input/inputfile01 /input/outputfile01
结果是:线程中出现异常 "main" java.lang.ClassNotFoundException:WordCount
由于我与 WordCount.class 在同一个目录中并且我在同一个目录中创建了我的 jar 文件,所以我没有指定 WordCount 的完整路径,所以我是 运行 上面的第二个命令在这个目录中:
我已经添加了job.setJarByClass(WordCount.class);到代码所以没有帮助。感谢您花时间回答!
我确定我又在做一些意想不到的事情,而且 4 个小时都想不通
Hadoop 站点上的 Wordcount 示例代码未使用包
既然你有一个,你就会 运行 完全合格 class。与常规 Java 应用程序完全相同的方式
hadoop jar WordCount.jar com.cloud.hw03.WordCount
此外,如果您实际上有一个 Maven 项目,那么 hadoop com.sun.tools.javac.Main
是不正确的。您实际上会使用 Maven 来编译和创建包含所有 class 的 JAR,而不仅仅是 WordCount*
个文件
例如,来自 pom.xml
的文件夹
mvn package
否则需要在父目录下
hadoop com.sun.tools.javac.Main ./com/cloud/hw03/WordCount.java
并且 运行 jar cf
命令也来自该目录
线程异常 "main" java.lang.ClassNotFoundException:WordCount-> 很多答案都与这个问题有关,看来我肯定又漏掉了一个小问题,这花了我几个小时才弄明白。
我会尽可能清楚地说明路径、代码本身以及我尝试过但没有奏效的其他可能的解决方案。
我有点确定我正确配置了 Hadoop,因为直到最后阶段一切正常。
但仍然发布详细信息:
- 环境变量和路径
>
HADOOP VARIABLES START
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_CLASSPATH=/usr/lib/jvm/java-8-oracle/lib/tools.jar
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP VARIABLES END
Class本身:
package com.cloud.hw03;
/**
* Hello world!
*
*/
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCount {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "wordcount");
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setJarByClass(WordCount.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
我为编译做了什么 运行:
在与我的 WordCount maven 项目 (eclipse-workspace) 相同的文件夹中创建了 jar 文件
$ hadoop com.sun.tools.javac.Main WordCount.java
$ jar cf WordCount.jar WordCount*.class
运行 程序:(我已经在 hdfs 中创建了一个目录并复制了输入输出文件)
hadoop jar WordCount.jar WordCount /input/inputfile01 /input/outputfile01
结果是:线程中出现异常 "main" java.lang.ClassNotFoundException:WordCount
由于我与 WordCount.class 在同一个目录中并且我在同一个目录中创建了我的 jar 文件,所以我没有指定 WordCount 的完整路径,所以我是 运行 上面的第二个命令在这个目录中:
我已经添加了job.setJarByClass(WordCount.class);到代码所以没有帮助。感谢您花时间回答!
我确定我又在做一些意想不到的事情,而且 4 个小时都想不通
Hadoop 站点上的 Wordcount 示例代码未使用包
既然你有一个,你就会 运行 完全合格 class。与常规 Java 应用程序完全相同的方式
hadoop jar WordCount.jar com.cloud.hw03.WordCount
此外,如果您实际上有一个 Maven 项目,那么 hadoop com.sun.tools.javac.Main
是不正确的。您实际上会使用 Maven 来编译和创建包含所有 class 的 JAR,而不仅仅是 WordCount*
个文件
例如,来自 pom.xml
的文件夹mvn package
否则需要在父目录下
hadoop com.sun.tools.javac.Main ./com/cloud/hw03/WordCount.java
并且 运行 jar cf
命令也来自该目录