MapReduce Streaming
2016-06-21 11:13
155 查看
一、Hadoop Streaming:
Hadoop Streaming是Hadoop发行包的一个功能。Hadoop Streaming的作用是，可以使用任何可运行程序或脚本作为Mapper和/或Reducer来创建和执行MapReduce作业。例如：
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.2.1.jar -input /user/nma/input/ -output /user/nma/output_streaming/ -mapper cat -reducer wc
二、Hadoop Streaming工作原理:
三、命令行选项
四、指定java类作为Mapper/Reducer：
Hadoop Streaming是Hadoop发行包的一个功能。Hadoop Streaming的作用是，可以使用任何可运行程序或脚本作为Mapper和/或Reducer来创建和执行MapReduce作业。例如：
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.2.1.jar -input /user/nma/input/ -output /user/nma/output_streaming/ -mapper cat -reducer wc
二、Hadoop Streaming工作原理:
三、命令行选项
四、指定java类作为Mapper/Reducer：
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Hadoop_2.1.0 MapReduce序列图
- MongoDB中的MapReduce简介
- Mongodb中MapReduce实现数据聚合方法详解
- MongoDB学习笔记之MapReduce使用示例
- MongoDB中MapReduce编程模型使用实例
- MapReduce中ArrayWritable 使用指南
- Java函数式编程(七)：MapReduce
- java连接hdfs ha和调用mapreduce jar示例
- 用PHP和Shell写Hadoop的MapReduce程序
- JavaScript mapreduce工作原理简析
- eclipse 开发 spark Streaming wordCount
- mongodb mapredReduce 多个条件分组（group by）
- HBase基本原理
- HDFS DatanodeProtocol——sendHeartbeat
- HDFS DatanodeProtocol——register
- Hadoop集群提交作业问题总结
- Hadoop源码分析 HDFS ClientProtocol——addBlock
- Hadoop源码分析HDFS ClientProtocol——create
- Hadoop源码分析FSNamesystem几个重要的成员变量
- Hadoop源码分析HDFS ClientProtocol——getBlockLocations