HUE提交MapReduce作业示例
2016-11-19 23:18
330 查看
说明
操作步骤
步骤1新建MapReduce的action
步骤2填写配置
步骤3提交作业
图中所有的”Hadoop job properties”如下,
操作步骤
步骤1新建MapReduce的action
步骤2填写配置
步骤3提交作业
说明
因为HUE也是通过Oozie的REST提交作业,故看过Oozie提交作业总结后,在HUE中提交作业变得相当简单。操作步骤
步骤1–新建MapReduce的action
步骤2–填写配置
图中所有的”Hadoop job properties”如下,
mapreduce.input.fileinputformat.inputdir ${inputDir} mapreduce.output.fileoutputformat.outputdir ${outputDir} mapreduce.job.map.class wordcount.WordCount$TokenizerMapper mapreduce.job.reduce.class wordcount.WordCount$IntSumReducer mapreduce.job.combine.class wordcount.WordCount$IntSumReducer mapreduce.job.output.key.class org.apache.hadoop.io.Text mapreduce.job.output.value.class org.apache.hadoop.io.IntWritable mapred.mapper.new-api true mapred.reducer.new-api true mapreduce.job.reduces 1
步骤3–提交作业
提交作业后,填写上述设置的输入输出路径参数便可以成功运行,见如下,相关文章推荐
- Hadoop:MapReduce作业配置与提交
- hadoop mapreduce作业提交流程
- hadoop job -kill 与 yarn application -kii(作业卡了或作业重复提交或MapReduce任务运行到running job卡住)
- MapReduce提交作业常见问题
- MapReduce源码解读系列之——作业如何提交到JobTracker
- 源码剖析MapReduce作业提交机制(本地模式)
- MapReduce 提交作业常见问题
- Hadoop MapReduce之作业提交(客户端)
- 源码剖析MapReduce作业提交机制(集群模式)
- MapReduce提交作业常见问题
- mapreduce源码分析作业提交、初始化、分配、计算过程之提交篇
- Hadoop MapReduce作业提交与初始化过程分析
- Intellij IDEA远程向hadoop集群提交mapreduce作业
- Hadoop-2.7.3源码分析:MapReduce作业提交源码跟踪
- MapReduce源码分析之新API作业提交(二):连接集群
- Hadoop源码分析--MapReduce作业(job)提交源码跟踪
- MapReduce作业提交流程
- Hadoop MapReduce之作业提交(服务端)
- MapReduce提交作业常见问题
- 如何在E-MapReduce上提交Storm作业处理Kafka数据