Hadoop Streaming 实战： bash脚本

streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序

1. 待检索的数据放入hdfs

$ hadoop fs -put localfile /user/hadoop/hadoopfile

2. 编写map、reduce脚本,记得给脚本加可执行权限。

mapper.sh

view
plain

#!/bin/sh

wc –l

reducer.sh

view
plain

#!/bin/sh

sum=0

while read i

do

sum=$((sum+i))

done

echo $sum

3. 运行：

hadoop jar /home/hadoop/hadoop/contrib/streaming/hadoop-0.20.2-streaming.jar -input data/pg4300.txt -output out13 -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -jobconf mapre.job.name="grep-test" -jobconf stream.non.zero.exit.is.failure=false
-jobconf mapred.reduce.tasks=1

说明：

-input /user/hadoop/hadoopfile ： 待处理文件目录

-output /user/hadoop/result ：处理结果存放目录

-file ：分发mapper.sh和reducer.sh到hdfs中

-jobconf mapred.reduce.tasks=1 : reduce任务数

3. 查看结果：

$ hadoop fs –cat /user/hadoop/result/part-00000