MapReduce开发程序，运行环境配置

Hadoop主机：linux

开发环境主机：Win7 + Itellij

本地运行

　　1. 下载hadoop安装包，放到本地目录中。

　　2. 配置环境变量$HADOOP_HOME及$PATH=$HADOOP_HOME/bin

　　3. 下载winutils.exe放到本地目录的$HADOOP_HOME/bin目录下。

　　4. 修改hadoop的源码

NativeIO.java org.apache.hadoop.io.nativeio
YARNRunner.java org.apache.hadoop.mapred

5. src目录下不能有hadoop的配置文件

　　6. 程序中的配置需要添加：

　　　　Configuration config = new Configuration();
　　　　config.set("fs.defaultFS", "hdfs://node1:8020");//不能使用集群地址，只能指定hdfs地址，本地执行mr任务，但是访问的hdfs还是hadoop主机的。

服务器运行

　　一、程序打包以后直接放到服务器端执行　　

　　　　将打包后的程序，放到服务器上，然后通过命令执行：hadoop jar *.jar

二、在本地调用，直接运行在服务器上

　　　　1、在src目录下放置hadoop配置文件

　　　　2、修改hadoop源码

　　　　　　NativeIO.java org.apache.hadoop.io.nativeio
　　　　　　YARNRunner.java org.apache.hadoop.mapred

　　　　3、程序中增加配置

　　　　　 configuration.set("mapred.jar","D:\\Project\\MyDemo\\etl\\out\\artifacts\\etl\\etl.jar");

程序编译成jar后生成的目录位置。