eclipse使用hadoop来统计单词的个数

说明：eclipse4.5 hadoop2.6 ubuntu。 事先已经在eclipse中配置了hadoop的插件

我们可以用命令直接使用hadoop安装路径中的example下的woedconnt来统计单词的格式。但是我们为了了解hadoop统计单词的过程，就需要对它的源码进行分析。

hadoop的核心就是HDFS和MapReduce。下面让我们来看看hadoop单词统计的代码。

<span style="font-family:Microsoft YaHei;font-size:14px;">import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCount {
public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
//IntWritable类是一个为整数可以进行写、可以进行比较而定义的，比如统计单词出现频率就是一个整数。
private final static IntWritable one = new IntWritable(1);
//Text类是用来存储文本内容的，存储的文本内容经过了编码、解码等等操作。
private Text word = new Text();
/**
* MapClass是一个内部静态类。统计数据文件中每一行的单词。
*/
public void map(LongWritable key, Text value, Context context)  throws IOException, InterruptedException {
//StringTokenizer是将String line = value.toString();这个从文本中获取到的可能很长的不规范
//(带空格或者其他分隔符，这里默认就是空格作为分隔符的)的字符串进行处理，提取由空格作为分隔符的每个单词
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());  //将提取出来的单词设置到Text word中
context.write(word, one);
}
}
}
/**
* Reduce是一个内部静态类。作为统计单词数量的中间结果类，由于这个例子简单无须执行中间结果的合并。
* reduce方法的第二个参数为Iterator<IntWritable> values，是一个迭代器类型，即是多个value的迭代器，
* 通过这个迭代器可以得到多个value。又由于第一个参数指定了key，那么这个迭代器就是与这个key相关的了，
* 即每个value都是key的value，如果统计词频，只要将多个value进行求和运算即可。
*/
public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
System.out.println(sum);
}
result.set(sum);
context.write(key, result);
}
}
/**
* map/reduce程序的驱动部分，用于实现提交map/reduce任务。
*/
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
/**
* 这里必须有输入/输出
*/
if (args.length != 2) {
System.err.println("Usage: wordcount  ");
System.exit(2);
}
System.out.println("/////////////////////////////");
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);  //主类
job.setMapperClass(TokenizerMapper.class);  //指定mapper的类型
job.setCombinerClass(IntSumReducer.class);//作业合成类
job.setReducerClass(IntSumReducer.class);  //指定reducer的类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);  //设置作业输出数据的关键类
job.setOutputValueClass(IntWritable.class);  //设置作业输出值类
FileInputFormat.addInputPath(job, new Path(args[0]));  //文件输入
FileOutputFormat.setOutputPath(job, new Path(args[1]));  //文件输出
System.exit(job.waitForCompletion(true) ? 0 : 1);  //等待完成退出.
}
}