hadoop权威指南学习(一) - 天气预报MapReduce程序的开发和部署
2017-04-11 22:09
429 查看
看过Tom White写的Hadoop权威指南(大象书)的朋友一定得从第一个天气预报的Map Reduce程序所吸引,
殊不知,Tom White大牛虽然在书中写了程序和讲解了原理,但是他以为你们都会部署了,这里轻描淡写给
带过了,这样就给菜鸟们留了课题,其实在跑书中的程序的时候,如果没经验,还是会踩坑的。
这里笔者就把踩过的坑说一下,以防后来人浪费时间了。
1. 首先,你得下载书中的ncdc气象原始数据,这个可以从书中的官网下载。
作者比较做人家,只给了2年的历史数据,无妨,2年也可以运行。
下载下来你会看到1901.gz,1902.gz
2. 然后我们可以开始我们的编码之旅了
新建一个maven项目,然后按照书中的例子,编写如下3个类(这里Mapper, Reducer, Job的原理我就不多解释了,自己去看大牛的书去)
MaxTemperatureMapper.java
MaxTemperatureReducer.java
MaxTemperature.java
然后把我们的Java程序打包,你认为自己是一个Java熟手,不是吗,熟练的命令或者IDE都可以(mvn clean install)
Ok, 包打完了,得到如下jar包: xxx.jar
好了,你可能会试着用书中或者网上的命令(前提是你已经配置好$hadoop_home)
hadoop jar xxx.jar 你的主类名 你的本地gz文件存放的目录 你本地另外一个输出目录
然而,很不幸,你的程序跑不了,理由很简单,根本就找不到你的gz文件的目录。
喔,查了下网上的资料,发现我似乎应该把本地文件拷贝到HDFS,赶快查资料,下一步。。。
3. 将本地数据拷贝到HDFS(前提是你已经安装了hadoop并且把服务给启动了起来)
3-1) 我们先在hdfs根目录下建个data目录
hadoop fs -mkdir /data
3-2) 把我们的gz数据拷贝到刚刚新建的目录
hadoop fs -copyFromLocal /Users/KG/Documents/MyWork/Hadoop/data/ncdc/*.gz /data
3-3)把我们的jar包拷贝到一个地方,然后进入命令行,进入哪个目录
cd /Users/KG/Documents/MyTest/Jar
3-4) 使用hadoop jar运行命令
但是,这里你会报错: 找不到主类名
解决方案:你需要给自己的pom配置shade插件
我的pom.xml
3-5)再次运行完整命令,如下:
hadoop jar original-MaxTemperature-1.0-SNAPSHOT.jar org.genesis.hadoop.temperature.MaxTemperature /data /data/output
如果你看到如下输出,那么你成功了
4. 验证分析结果
使用如下命令:
hadoop fs -cat /data/output/*
输出结果如下:
1901 317
1902 244
殊不知,Tom White大牛虽然在书中写了程序和讲解了原理,但是他以为你们都会部署了,这里轻描淡写给
带过了,这样就给菜鸟们留了课题,其实在跑书中的程序的时候,如果没经验,还是会踩坑的。
这里笔者就把踩过的坑说一下,以防后来人浪费时间了。
1. 首先,你得下载书中的ncdc气象原始数据,这个可以从书中的官网下载。
作者比较做人家,只给了2年的历史数据,无妨,2年也可以运行。
下载下来你会看到1901.gz,1902.gz
2. 然后我们可以开始我们的编码之旅了
新建一个maven项目,然后按照书中的例子,编写如下3个类(这里Mapper, Reducer, Job的原理我就不多解释了,自己去看大牛的书去)
MaxTemperatureMapper.java
package org.genesis.hadoop.temperature; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class MaxTemperatureMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private static final int MISSING = 9999; @Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String year = line.substring(15, 19); int airTemperature; if (line.charAt(87) == '+') { // parseInt doesn't like leading plus signs airTemperature = Integer.parseInt(line.substring(88, 92)); } else { airTemperature = Integer.parseInt(line.substring(87, 92)); } String quality = line.substring(92, 93); if (airTemperature != MISSING && quality.matches("[01459]")) { context.write(new Text(year), new IntWritable(airTemperature)); } } }
MaxTemperatureReducer.java
package org.genesis.hadoop.temperature; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; import java.io.IOException; public class MaxTemperatureReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int maxValue = Integer.MIN_VALUE; for (IntWritable value : values) { maxValue = Math.max(maxValue, value.get()); } context.write(key, new IntWritable(maxValue)); } }
MaxTemperature.java
package org.genesis.hadoop.temperature; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MaxTemperature { public static void main(String[] args) throws Exception { if (args.length != 2) { System.err.println("Usage: MaxTemperature <input path> <output path>"); System.exit(-1); } Job job = new Job(); job.setJarByClass(MaxTemperature.class); job.setJobName("Max temperature"); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(MaxTemperatureMapper.class); job.setReducerClass(MaxTemperatureReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
然后把我们的Java程序打包,你认为自己是一个Java熟手,不是吗,熟练的命令或者IDE都可以(mvn clean install)
Ok, 包打完了,得到如下jar包: xxx.jar
好了,你可能会试着用书中或者网上的命令(前提是你已经配置好$hadoop_home)
hadoop jar xxx.jar 你的主类名 你的本地gz文件存放的目录 你本地另外一个输出目录
然而,很不幸,你的程序跑不了,理由很简单,根本就找不到你的gz文件的目录。
喔,查了下网上的资料,发现我似乎应该把本地文件拷贝到HDFS,赶快查资料,下一步。。。
3. 将本地数据拷贝到HDFS(前提是你已经安装了hadoop并且把服务给启动了起来)
3-1) 我们先在hdfs根目录下建个data目录
hadoop fs -mkdir /data
3-2) 把我们的gz数据拷贝到刚刚新建的目录
hadoop fs -copyFromLocal /Users/KG/Documents/MyWork/Hadoop/data/ncdc/*.gz /data
3-3)把我们的jar包拷贝到一个地方,然后进入命令行,进入哪个目录
cd /Users/KG/Documents/MyTest/Jar
3-4) 使用hadoop jar运行命令
但是,这里你会报错: 找不到主类名
解决方案:你需要给自己的pom配置shade插件
我的pom.xml
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.genesis</groupId> <artifactId>MaxTemperature</artifactId> <version>1.0-SNAPSHOT</version> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-core</artifactId> <version>1.2.1</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.4.1</version> <executions> <execution> <phase>package</phase> <goals><goal>shade</goal></goals> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass>org.genesis.hadoop.temperature.MaxTemperature</mainClass> </transformer> </transformers> </configuration> </execution> </executions> </plugin> </plugins> </build> </project>
3-5)再次运行完整命令,如下:
hadoop jar original-MaxTemperature-1.0-SNAPSHOT.jar org.genesis.hadoop.temperature.MaxTemperature /data /data/output
如果你看到如下输出,那么你成功了
4. 验证分析结果
使用如下命令:
hadoop fs -cat /data/output/*
输出结果如下:
1901 317
1902 244
相关文章推荐
- 【MapReduce开发】文件去重--第一个MapReduce小程序学习
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- Hadoop权威指南学习(三)——MapReduce应用开发
- hadoop编程入门学习笔记-3 开发MapReduce程序
- 一脸懵逼学习Hadoop中的序列化机制——流量求和统计MapReduce的程序开发案例——流量求和统计排序
- WebService学习总结 四 WebService开发天气预报客户端程序
- 知识学习——Hadoop MapReduce开发入门程序WordCount详解
- 传智播客java web 学习,国际化的web程序开发
- 学习程序开发的方法,仅供参考吧
- C++学习笔记-后台服务程序开发模式
- 在 Windows Server 2003 SP2 下部署使用 C# 开发的 MMC 控制台程序
- 《MFC深入浅出》学习笔记--------Win32 SDK 程序开发流程
- 开发和部署 Pocket PC 安装程序
- 阅读程序,学习程序开发的关键环节
- OAF二次开发step by step(四)--OAF二次开发程序的部署
- weblogic JMS程序部署及开发
- 【嵌入式Linux学习七步曲之第二篇 ARM+Linux开发环境】gdb+gdbserver的方式进行ARM程序调试
- [ASP.NET学习笔记之二十四].NET程序的智能部署
- 【嵌入式Linux学习七步曲之第二篇 ARM+Linux开发环境】在AT91RM9200上通过nfs调试linux程序
- Jsp&Servelet 学习笔记- 在tomcat上部署一个单独的servlet的程序(Ant)