MapReduce程序的几种提交运行模式
2017-08-07 14:48
218 查看
本地模型运行
1/在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行
----输入输出数据可以放在本地路径下(c:/wc/srcdata/)
----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
2/在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置,也会提交给localjobrunner执行
----输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/)
----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
集群模式运行
1/将工程打成jar包,上传到服务器,然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner
2/在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施:
----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml
----将工程打成jar包(wordcount.jar),同时在main方法中添加一个conf的配置参数 conf.set("mapreduce.job.jar","wordcount.jar");
3/在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改
----要在windows中存放一份hadoop的安装包(解压好的)
----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
----再要配置系统环境变量 HADOOP_HOME 和 PATH
----修改YarnRunner这个类的源码
如果是本地运行,job的编号会以LocalJob开头
集群方式运行成功:
1/在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行
----输入输出数据可以放在本地路径下(c:/wc/srcdata/)
----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
2/在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置,也会提交给localjobrunner执行
----输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/)
----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
集群模式运行
1/将工程打成jar包,上传到服务器,然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner
2/在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施:
----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml
----将工程打成jar包(wordcount.jar),同时在main方法中添加一个conf的配置参数 conf.set("mapreduce.job.jar","wordcount.jar");
3/在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改
----要在windows中存放一份hadoop的安装包(解压好的)
----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
----再要配置系统环境变量 HADOOP_HOME 和 PATH
----修改YarnRunner这个类的源码
如果是本地运行,job的编号会以LocalJob开头
集群方式运行成功:
相关文章推荐
- hadoop中mapreduce程序的几种提交运行模式
- MR程序的几种提交运行模式
- MR程序的几种提交运行模式
- mr(mapreduce)几种提交运行模式
- MapReduce程序的3种集群提交运行模式详解---基于Windows与Linux两种开发环境
- MR程序的几种提交运行模式
- MR程序的几种提交运行模式
- Hadoop中MR程序的几种提交运行模式
- 简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行
- 在JAVA应用中远程提交MapReduce程序至Hadoop集群运行
- mac电脑的eclipse把mapreduce程序提交到hadoop2.x集群虚拟机上运行
- 单机伪分布式模式 运行MapReduce程序 配置问题
- 攻城狮在路上(陆)-- 提交运行MapReduce程序到hadoop集群运行
- Hadoop实战——MapReduce程序的运行模式
- mapreduce系列(3)----在window端远程提交mr程序运行
- hadoop mapreduce的job的几种运行模式
- 简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行
- 单机伪分布式模式 运行MapReduce程序 配置问题
- Eclipse打包mapreduce程序并提交至hadoop集群运行
- Spark on yarn--几种提交集群运行spark程序的方式