在 win7 64 上伪分布式部署 Hadoop 2.7.3
2017-05-07 19:49
155 查看
在 win7 64 上伪分布式部署 Hadoop 2.7.3
主要参考链接: https://wiki.apache.org/hadoop/Hadoop2OnWindows 跳转到 Install 部分。。
已经在本机部署完了,但是我感到有点不妙。因为最后我看到如下的话:
Hadoop Security
Short-circuit reads
就是说目前的 Hadoop 2.7.3 版本,在 windows上还没有实现2个功能,其中一个是 Hadoop Security, 所以,我觉得在 Windows上部署Hadoop,在目前的版本上,还不大实用。因为安全没有 Linux 平台有保障啊。。。
---------------------------------------
首先呢,你要有 hadoop bin文件,要么自己编译出来,要么下载。接前一篇文章呢,是自己编译了一个,那么就去hadoop 的 src 目录下的 hadoop-dist\target\
下找到一个 .tar.gz 然后把它解压到一个层次比较少的无空格目录上,准备部署,文章中介绍的是部署在 C:\deploy ,我看我C盘剩余空间不如 d 盘,于是部署在 D盘。然后按照后面的 步骤一步步来,就成功部署并简单测试了下 hdfs 例子和 yarn 中的 map reduce 的 wordcount 例子。过程中,建议可以在运行前,创建新的独立的
Hadoop 用户,我第一次测试时,并没有,我用的本机当前的管理员账户。然后跑过了。
还有就是,可以看到,开始是 运行了 start-dfs.cmd 启动了 hdfs系统,起来了 namenode datanode 2个命令行窗口。然后
又使用 start-yarn.cmd 启动了 yarn 系统,以运行后面的 map-reduce 例子程序。测试结果呢,会在hdfs 文件系统的那个 /out 目录里面,可以 -get 出来,我看过,结果大概是表明了你要测试的 text文件中,所有的单词及其出现次数。每个单词的统计占了一行。
文档结束,并没有讲怎么结束你的测试。可以找到并运行相应的 stop-all.cmd 或 stop-yarn.cmd stop-dfs.cmd.
具体的部署过程命令请去参考原网站的,这里就不贴了,免得太长。。。
我遇到的问题呢,就是在编译的时候,JAVA_HOME路径中含有空格也通过了编译,而在部署过程中会报错,于是我重装了 jdk到一个没有空格的新路径,并修改了这个环境变量配置。
本机只是测试了下单机伪分布式部署,要集群部署进行测试呢,请参照相应的 ClusterSetup 的文档。由于我没有这个环境,就不在这里做验证了。
状态查看
在浏览器中可以输入 http://NameNode:50070/ 看到集群的基本信息。单机伪分布式部署,可以输入 http://localhost:50070/ 确实可以看到状态。
如果有正在执行中的任务 http://NameNode:50030/ 可以看到当前集群上的任务状态。比如 http://localhost:50030/ ,我没有看到本机已运行结束的例子的任务情况。
主要参考链接: https://wiki.apache.org/hadoop/Hadoop2OnWindows 跳转到 Install 部分。。
已经在本机部署完了,但是我感到有点不妙。因为最后我看到如下的话:
5. Conclusion
5.1. Caveats
The following features are yet to be implemented for Windows.Hadoop Security
Short-circuit reads
就是说目前的 Hadoop 2.7.3 版本,在 windows上还没有实现2个功能,其中一个是 Hadoop Security, 所以,我觉得在 Windows上部署Hadoop,在目前的版本上,还不大实用。因为安全没有 Linux 平台有保障啊。。。
---------------------------------------
首先呢,你要有 hadoop bin文件,要么自己编译出来,要么下载。接前一篇文章呢,是自己编译了一个,那么就去hadoop 的 src 目录下的 hadoop-dist\target\
下找到一个 .tar.gz 然后把它解压到一个层次比较少的无空格目录上,准备部署,文章中介绍的是部署在 C:\deploy ,我看我C盘剩余空间不如 d 盘,于是部署在 D盘。然后按照后面的 步骤一步步来,就成功部署并简单测试了下 hdfs 例子和 yarn 中的 map reduce 的 wordcount 例子。过程中,建议可以在运行前,创建新的独立的
Hadoop 用户,我第一次测试时,并没有,我用的本机当前的管理员账户。然后跑过了。
还有就是,可以看到,开始是 运行了 start-dfs.cmd 启动了 hdfs系统,起来了 namenode datanode 2个命令行窗口。然后
又使用 start-yarn.cmd 启动了 yarn 系统,以运行后面的 map-reduce 例子程序。测试结果呢,会在hdfs 文件系统的那个 /out 目录里面,可以 -get 出来,我看过,结果大概是表明了你要测试的 text文件中,所有的单词及其出现次数。每个单词的统计占了一行。
文档结束,并没有讲怎么结束你的测试。可以找到并运行相应的 stop-all.cmd 或 stop-yarn.cmd stop-dfs.cmd.
具体的部署过程命令请去参考原网站的,这里就不贴了,免得太长。。。
我遇到的问题呢,就是在编译的时候,JAVA_HOME路径中含有空格也通过了编译,而在部署过程中会报错,于是我重装了 jdk到一个没有空格的新路径,并修改了这个环境变量配置。
本机只是测试了下单机伪分布式部署,要集群部署进行测试呢,请参照相应的 ClusterSetup 的文档。由于我没有这个环境,就不在这里做验证了。
状态查看
在浏览器中可以输入 http://NameNode:50070/ 看到集群的基本信息。单机伪分布式部署,可以输入 http://localhost:50070/ 确实可以看到状态。
如果有正在执行中的任务 http://NameNode:50030/ 可以看到当前集群上的任务状态。比如 http://localhost:50030/ ,我没有看到本机已运行结束的例子的任务情况。
相关文章推荐
- Hadoop 2.7.3 源码编译+单机及分布式部署
- ubuntu16.04(64位)+Hadoop2.7.3伪分布式环境下部署Spark
- 在 win7 64 上编译 hadoop 2.7.3的经历
- Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
- hadoop-2.7.3完全分布式集群部署
- Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
- 超详细从零记录Hadoop2.7.3完全分布式集群部署过程
- Hadoop-2.7.3完全分布式环境搭建及环境部署脚本编写
- Java 1.8+Hadoop 2.7.3+Spark 2.1.1+Scala 2.11.8整合分布式部署
- Hadoop集群实践-完整Hadoop分布式集群部署ubuntu-16.04.1+hadoop-2.7.3
- win7 64bit 企业版 编译Hadoop2.7.2源码+插件+部署伪分布式开发环境
- 超详细从零记录Hadoop2.7.3完全分布式集群部署过程
- Hadoop2.7.3完全分布式集群部署过程
- 超详细从零记录Hadoop2.7.3完全分布式集群部署过程
- 超详细从零记录Hadoop2.7.3完全分布式集群部署过程
- hadoop2.7.3伪分布式搭建
- Win7 64bit hadoop-2.6.0源码编译部署包
- Hadoop3.0.0在Ubuntu16.04上分布式部署
- hadoop-2.7.3 + hive-2.3.0 + zookeeper-3.4.8 + hbase-1.3.1 完全分布式安装配置
- hadoop2.7.3伪分布式搭建之一------>Linux环境的准备