Hadooop运行WordCount(Hello world)程序

一、 Hadoop2.7.3安装并配置成功

二、
在HDFS中创建input文件目录

       hadoop fs -mkdir /input 

    


三、当前在hadoop-2.7.3的目录下，有个LICENSE.txt的文件，把它放到hdfs的input目录下面

 
 hadoop fs -put LICENSE.txt  /input

 
 

四、

 
     (1)查看文件是否正确传入到/input目录下

         hadoop fs -ls /input

       


       (2)查看文件内容

       hadoop fs -cat /input/LICENSE.txt

 

五、执行   hadoop jar /usr/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input    /output

      

     按我前面的配置会卡在mapreduce.Job: Running job

      在etc/hadoop/mapred-site.xml中，如果配置

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

      则使用yarn来进行计算，那么必须启动nodemanager,

      如果不使用yarn,进行mapreduce.job.tracker配置，也可以用MRv2来执行job，这样就不需要启动nodemanager：

     <property>

        <name>mapreduce.job.tracker</name>

        <value>hdfs://192.168.153.129:8001</value>

        <final>true</final>

    </property> 

六、修改后重新运行 hadoop jar /usr/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input    /output3

    


七、查看输出结果的目录下的文件

   hadoop fs -ls /output3

  查看输出结果

   hadoop fs -cat /output3/part-r-00000