Hadoop 伪分布式配置安装
2014-01-21 12:11
323 查看
1.安装Hadoop到/home/user
$ tar -zxvf hadoop-0.20.2.tar.gz
2. 创建目录:
$ mkdir /home/user/hadoop-0.20.2/hadooptmp
$ mkdir /home/user/hadoop-0.20.2/hdfs/data
$ mkdir /home/user/hadoop-0.20.2/hdfs/name
$ mkdir /home/user/hadoop-0.20.2/mapred/local
$ mkdir /home/user/hadoop-0.20.2/mapred/system
3.修改~/hadoop-0.20.2/conf/下的配置
1) hadoop-env.sh
2) core-site.xml
3) hdfs-site.xml
4) mapred-site.xml
5) slaves
6) masters
4 hadoop 运行 格式化HDFS文件系统:
打开Cygwin窗口,输入命令:
cd hadoop-0.20.2
mkdir logs
bin/hadoop namenode -format
5、启动hadoop
./bin/start-all.sh
6. 验证Hadoop是否安装成功:
打开浏览器,分别输入网址: http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDFS的Web页面)
7. 关闭Hadoop:
$ ./bin/stop-all.sh
8. 特别注意:
(1)不要以root身份运行Hadoop,否则会涉及到Java虚拟机的-jvm选项问题,导致Hadoop启动失败。
(2)每次重启Hadoop之前,务必先删除hadooptmp文件夹,防止因hadoop的错误退出导致的启动namenode和jobtracker失败。
(3)单机伪分布式部署启动失败可以尝试格式化HDFS文件系统。
(4)有用的命令:$ jps
$ tar -zxvf hadoop-0.20.2.tar.gz
2. 创建目录:
$ mkdir /home/user/hadoop-0.20.2/hadooptmp
$ mkdir /home/user/hadoop-0.20.2/hdfs/data
$ mkdir /home/user/hadoop-0.20.2/hdfs/name
$ mkdir /home/user/hadoop-0.20.2/mapred/local
$ mkdir /home/user/hadoop-0.20.2/mapred/system
3.修改~/hadoop-0.20.2/conf/下的配置
1) hadoop-env.sh
2) core-site.xml
3) hdfs-site.xml
4) mapred-site.xml
5) slaves
6) masters
4 hadoop 运行 格式化HDFS文件系统:
打开Cygwin窗口,输入命令:
cd hadoop-0.20.2
mkdir logs
bin/hadoop namenode -format
5、启动hadoop
./bin/start-all.sh
6. 验证Hadoop是否安装成功:
打开浏览器,分别输入网址: http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDFS的Web页面)
7. 关闭Hadoop:
$ ./bin/stop-all.sh
8. 特别注意:
(1)不要以root身份运行Hadoop,否则会涉及到Java虚拟机的-jvm选项问题,导致Hadoop启动失败。
(2)每次重启Hadoop之前,务必先删除hadooptmp文件夹,防止因hadoop的错误退出导致的启动namenode和jobtracker失败。
(3)单机伪分布式部署启动失败可以尝试格式化HDFS文件系统。
(4)有用的命令:$ jps
相关文章推荐
- Hadoop_2.1.0 MapReduce序列图
- cygwin下vim方向键不好用的解决方案
- 单机版搭建Hadoop环境图文教程详解
- Cygwin工具使用入门教程
- cygwin 在windows下使用linux命令的方法
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- ASP.NET通过分布式Session提升性能
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- Hadoop安装感悟
- hadoop安装lzo
- HDFS 文件操作
- HBase基本原理
- HDFS DatanodeProtocol——sendHeartbeat
- HDFS DatanodeProtocol——register
- Hadoop集群提交作业问题总结