hadoop stream框架简单使用

继：ubuntu14.04的HADOOP安装，详细

在hadoop完成伪分布式安装之后就可以开始streaming框架测试：

hadoop安装在/usr/local/hadoop;（主要要用安装时的用户登录，不要用root）

首先在终端输入

cd /usr/local/hadoop

然后在HDFS上创建文件，

./bin/hdfs dfs -mkdir input #创建输入文件，这里的创建会默认在/user/hadoop下

./bin/hdfs dfs -put ./etc/hadoop/*.xml input #复制输入文件到文件夹下
./bin/hadoop jar ./share/hadoop/tools/lib/hadoop-streaming-2.6.0.jar -input input -output output -mapper /bin/cat -reducer test_input/reducer.sh -file test_input/reducer.sh #使用streaming框架

C++版WordCount:(参考http://dongxicheng.org/mapreduce-nextgen/hadoop-streaming-examples/)