利用一切资源搭建hadoop

实验室电脑一枚： win7-VM-Ubuntu11.10  作为Master：用户hadoop； IP： 219.223.192.144

宿舍笔记本一枚：xp-VM-Ubuntu11.10  作为Slave-01：用户hadoop； IP：219.223.194.202

实验室打印机一枚： win7-VM-Ubuntu11.10  作为Slave-02：用户hadoop； IP： 219.223.195.116



一、 如何共享其中的关键目录？以及如何远程控制各台机器；？

1.笔记本xp共享文件：电脑的“网络共享和安全”是灰色的，不可选

可以远程控制，但不能共享文件

(1).确认文件夹权限，如需修改某种 权限 ，您必须是相应文件或文件夹的所有者，或者拥有由文件或文件夹所有者授予的管理 权限 。

(2).启用系统 "server" 服务 ( 开始 —— 运行 ——services.msc ，查找 server ，双击 更改启动类型为 “ 自动 ”，点击 “ 启动 ” 即可 )；开机自动启动server服务，有时需要将360等优化进行关闭；

(3)打开我的电脑- 需共享的文档 - 右键 “ 共享和安全 ”- 共享 - 网络共享和安全，启用文件共享，之后你的文件夹都可以右键共享了。

(4)通过运行cmd,进入DOS命令行,输入 net share 回车,查看共享磁盘和文件.

2. win7还是不能访问xp共享文件！

	解决：http://www.cnblogs.com/yeer/archive/2009/03/18/1415881.html

http://wenku.baidu.com/view/b7895e60f5335a8102d220a9.html

最后，尝试在“运行”中输入：\\主机名，成功；不知道为什么，\\主机名和ip地址的区别

二、ping通各个主机下的虚拟机；

1. 两台win7虚拟机ping通；xp也可以互ping本机；但唯一错误的是：xp虚拟机，无法ping通打印机及其虚拟机

Try：百度搜索xp无法ping通win7后，提示需要修改win7网络类型为家庭组

点击右下角的网络图标，打开网络和共享中心，左边是网络连接状态和网络类型，win7有三种网络类型，家庭网络，工作网络，公用网络。查看活动网络下是你现在的网络类型，显示蓝色字体，点击进入切换网络类型界面，点选你想更改的网络类型点确定就可以了。仍然不好使

Try：关闭win7防火墙；仍然不好使

2. 虚拟机安装时，端口号443被占用；

如何查看进程占用的端口号----http://wenku.baidu.com/view/9b5b62492e3f5727a5e96277.html

解决：虚拟机对于无线网支持不行啊，而且有时必须主机先ping通虚拟机，才能在虚拟机中留下正确的arp；十分感谢：http://blog.csdn.net/e3399/article/details/7543939终于知道全是虚拟机下的劣势了；不管怎样，加油！一定要用这三台机器跑起hadoop来！

三、修改虚拟机的主机名和ip地址——修改：/etc/hostname 和 /etc/hosts；实现SSH无密码连接

1.hosts文件中有两个IP地址：127.0.0.1和127.0.1.1上网搜索一下“ubuntu
127.0.1.1” 这个关键字，原来在/etc/hosts中指定了两个本地回环地址，其中一个就是127.0.1.1，它没有什么特别含义（它只是127.0.0.0/8段下的一个ip），可用它来解析你自己的主机名

2.将三台机器上的hosts中127.0.1.1 从 ubuntu分别改为Master,Slave-01,Slave-02

3.Master免密码ssh连接Slave-01操作：Slave-02类似 

(1)进入master，copy id_rsa.pub到Slave-01：scp id_rsa.pub hadoop@219.223.194.202:/home/jsj/.ssh/

(2)进入Slave-01，将上述的id_rsa.pub追加进authorized_keys:cat
id_dsa.pub >> authorized_keys。

四、配置master 将配置文件中的hostname均用IP地址代替，以防出现问题

参考：http://blog.csdn.net/lmc_wy/article/details/6035543
和 http://blog.sina.com.cn/s/blog_611317b40100t5od.html

启动时，最好ping一下各个slave或者ssh下，因为笔记本好像启动很慢！

错误1：hadoop@Master:~/hadoop$
bin/hadoop dfs -mkdir input

12/12/09 17:40:15 INFO ipc.Client: Retrying connect to server: /219.223.192.144:9000.
Already tried 0 time(s).

问题分析：打开http://master:50070 查看HDFS的情况，LiveNode结点为0 ....问题出在master结点上的/etc/hosts配置文件上

注释掉127.0.0.1一行后，正常。

出现错误2：好像也不是错误，只是不理解

三台机器Master，Slave-01，Slave-02; 启动：bin/start-all.sh后，用jps查看，Master和Slave-01正常；但是Slave-02中居然有namenode和jobTracker？  ——————原来我打开了ssh Master 哈哈~~

先启动dfs.sh，后启动mapred.sh,运行wordcount正确


终于在三个机器上实现了简单的hadoop集群，鼓励一下！继续学习，加油！