在win7下配置 hadoop开发环境

见 视频连接：http://v.youku.com/v_show/id_XMzc5MzM1NDQw.html

 

其中，一定要注意，在管理里面 我遇到sshd服务无法启动的情况。

解决办法参照：http://blog.csdn.net/jayjjb/article/details/8017674里面的这句命令：

$ mkpasswd -l > /etc/passwd

$ mkgroup -l > /etc/group

$ cygrunsrv -R sshd

$ ssh-host-config -y

$ cygrunsrv -S sshd

完毕后，在管理里面，会发现sshd服务已经启动了。接着，继续按照讲座进行

 

到了安装jdk这里，注意别看讲座了，看我这里：

安装jdk和jre7（在此忽略）

C:\Java\jdk1.6.0_10

C:\Java\jre7

 

2.5 配置windows环境变量

Ø JAVA_HOME = JRE安装目录

Ø Path=JDK的bin目录；Cygwin的bin目录；Cygwin的usr目录

Ø CYGWIN=netsec tty

l 设置方法：我的电脑右键->属性->高级系统设置->环境变量

多个变量之间以分号‘；’隔开，JAVA_HOME不存，则新建。

2.6 安装hadoop

Ø 把hadoop安装放到目标目录下，如d:/下

Ø 打开cygwin，cd d:

Ø tar zxf hadoop-1.0.4.tar.gz

Ø 修改hadoop-1.0.4/conf目录下hadoop-env.sh；core-site.xml；hdfs-site.xml；mapred-site.xml四个文件

Ø 分别将/hadoop-1.0.4/src/core/core-default.xml；/hadoop-1.0.4/src/hdfs/hdfs-default.xml；/hadoop-1.0.4/src/mapred/mapred-default.xml；拷贝到/hadoop-1.0.4/conf/目录下，把这个目录下原来的core-site.xml；hdfs-site.xml；mapred-site.xml文件删除，再把拷贝过来的三个文件修改为相对应的这三个文件

l 修改内容：（在cygwin中用vi修改，所有修改内容去掉前面注释符‘#’）

n Hadoop-env.sh

JAVA_HOME = JDK安装路径

n core-default.xml

查找到fs.default.name节点，修改value值，改成hdfs://localhost:9000

n hdfs-site.xml

查找到dfs.replication,将值3改为1；（数据备份数，因为只有一个节点所有只保存一份）

找到dfs.name.dir,修改value值，使路径有效（例如：d:/data/hdfs/namenode）

同样修改dfs.data.dir,修改value值，使路径有效（例如：d:/data/hdfs/datanode）

n mapred-site.xml

找到mapred.job.tracker,将value值改为localhost:9001

2.7 启动hadoop

Ø 打开cygwin

Ø net start sshd(启动ssh服务）

Ø ssh localhost（ssh登录本机）

Ø who（检验ssh服务是否启动成功）

Ø 进入hadoop的bin目录

Ø ./hadoop namenode -format（格式化）

Ø ./start-all.sh（启动）

Ø ./hadoop dfsadmin -report（检验是否成功）

Ø 也可打开浏览器输入http://localhost:50070/dfshealth.jsp查看

能显示目录容量，就说明hadoop装好了