hadoop初探

要使用hadoop，有三种途径：

1.在ubuntu下使用；

2.在虚拟机中使用；

3.在windows中使用；

在windows中使用

看了hadoop技术内幕，里面要求：java、ant、cygwin64，java是配置环境，ant可能是编译hadoop的eclipse插件，cygwin64是一个windows下的Linux环境，有需要的openssh。

昨天下错了版本，下载了hadoop-src，结果放在eclipse中怎么都编译不过。看到一些sun的类不能通过啊，添加了tool.jar和rule“**/*”。没有成功。最后发现别人都是下载hadoop-bin版本。从文件大小和别人都没有碰到问题，就可以想到。

解压src时出现问题，文件路径太长，winrar无法创建一些文件，放在短目录下就可以，比如分区根目录下。

今天早上在opensshssh上出了问题，在选择选项上出了问题，一直不能ssh localhost。

今天下午，

1.改了host，网上找到一个host更改bat，添加了localhost。

2.中间除了一个问题，忘了是怎么操作了，结果cygwinsshd服务变成删除状态，在Cygwin64 Terminal启动、停止服务都显示“服务处于删除状态”。重启电脑后，服务消失了。

3.删除了cygwin64，重新安装，在进行openssh配置时，应该都选了yes，出现了一个新账户。cygwinshhd服务也变成我建的账户another登录了，网上是本地的账户登录，并且要求密码。

终于，openssh可以用ssh localhost登录了。

但是，按照教程[(http://www.powerxing.com/install-hadoop/)]处理，结果有问题，缺少了一个winutils.exe，放进hadoop的bin文件夹中。

错误又变成了java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z，网上的教程有：

添加Hadoop_Home键值和Hadoop_Home/bin到path，听说要重启，但是重启没用。

添加hadoop.dll到hadoop的bin目录中，还要放到system32中，没用。

看了stackflow上的答案，有要求重新编译hadoop-src文件来替换的。

这个方法还要尝试。

然后看到Apache Hadoop 官方文档，在windows下不需要用cygwin。但是要用maven。

今天晚上下载了虚拟机，准备用虚拟机实现。

总结：

1.一开始就知道用ubuntu比较好，但是图方便还是用windows，但是官方文档说了，windows不能实现生产，只适合一些简单操作。

2.注意看官方文档，毕竟书本的东西很多过时了。

3.最好搞清楚问题，再动手，遇到选项，用概率判断。

Hadoop还没有装好，各种有的没的学了一些。也许这些以后会有用吧。