在hadoop框架中编译执行程序
2013-01-04 14:32
429 查看
1、eclipse3.3+hadoop0.20.2搭建的开发环境,可以用来调试程序,其中,hadoop以伪分布式方式运行。当程序在单机的伪分布式情况下运行无误时,就要到真正的分布式环境中运行mapreduce程序了。 可能真正分布式hadoop平台使用的hadoop版本与调试环境下实用的hadoop版本不一样,那么就要先在hadoop框架中编译程序,打包成jar程序,再在hadoop命令行运行程序。
2、好在可以得到wordcount的源码,安装后它被放在src/examples/org/apache/hadoop/examples/WordCount.java 中。我们可以根据需要来修改它。首先我们建立一个playground的目录结构并复制这个程序。(在hadoop安装目录下)
mkdir playground
mkdir playground/src
mkdir playground/classes
cp src/examples/org/apache/hadoop/examples/WordCount.java playground/src/WordCount.java
在Hadoop框架中编译和执行这个副本:
javac -classpath hadoop-core-1.0.4.jar:lib/commons-cli-1.2.jar -d playground/classes playground/src/WordCount.java
-d [目标目录] 需要编译的源文件,可能有多个 .java文件
打包:
jar -cvf playground/WordCount.jar -C playground/classes/ .
注意:上面一行最后的点(“.”)不能丢
运行:
bin/hadoop jar playground/WordCount.jar org.apache.hadoop.examples.WordCount input output
jar文件 WordCount与java文件中的类名相同
2、好在可以得到wordcount的源码,安装后它被放在src/examples/org/apache/hadoop/examples/WordCount.java 中。我们可以根据需要来修改它。首先我们建立一个playground的目录结构并复制这个程序。(在hadoop安装目录下)
mkdir playground
mkdir playground/src
mkdir playground/classes
cp src/examples/org/apache/hadoop/examples/WordCount.java playground/src/WordCount.java
在Hadoop框架中编译和执行这个副本:
javac -classpath hadoop-core-1.0.4.jar:lib/commons-cli-1.2.jar -d playground/classes playground/src/WordCount.java
-d [目标目录] 需要编译的源文件,可能有多个 .java文件
打包:
jar -cvf playground/WordCount.jar -C playground/classes/ .
注意:上面一行最后的点(“.”)不能丢
运行:
bin/hadoop jar playground/WordCount.jar org.apache.hadoop.examples.WordCount input output
jar文件 WordCount与java文件中的类名相同
相关文章推荐
- 易用的C++ RPC服务框架 - pioneer - 2 - 编译和执行演示程序
- windows下使用Eclipse编译执行MapReduce程序 Hadoop2.6.0/Ubuntu
- 让易语言编译的32位程序在64位Windows7系统非管理员帐户中执行
- 用ultraEdit编译和执行java程序
- JavaSE第一讲:JavaSE入门、JDK的下载与安装、第一个Java程序、Java程序的编译与执行
- Windows下使用eclipse编译打包运行自己的MapReduce程序 Hadoop2.6.0
- 用gcc编译成可执行程序
- vs2013编译的程序不能在XP和2003下执行问题的解决
- linux 编译选项中加入-shared 造成执行程序coredump
- 程序的执行——编译、连接与加载(上)
- java第一课(Java SE入门、JDK的下载与安装、第一个Java程序、Java程序的编译与执行)
- 运行hadoop的WordCount程序——编译,打包,运行
- Android-------C语言可执行程序编译实例
- Ubuntu系统下的Hadoop集群(4)_使用Eclipse编译运行MapReduce程序
- C程序编译执行过程
- 如何在cmd界面编译执行java程序
- C程序编译执行过程
- Windows下编译、安装Hadoop eclipse插件,编写HelloWord程序
- java带包类程序的编译和执行
- Java程序编译与执行