hadoop2.7.1伪分布式配置
2015-07-30 15:51
381 查看
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode。
Hadoop 的配置文件位于
core-site.xml文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml文件
如何没有这个文件使用mapred-site.xml.template文件,
修改后在重命名为[b]mapred-site.xml[/b]
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置完成后,执行 namenode 的格式化:
bin/hadoop namenode -format
成功标识:
显示 Exiting with status 0
namenode :SHUDOWN_MSG:
输入命令,启动进程
sbin/start-all.sh
查看进程启动情况:
jps
成功标志
NameNode
SecondaryNameNode
Jps
Datanode
NodeManager
ResourceManager
打开浏览器,输入网址
http://localhost:8088 或者 http://localhost:50030 (MapReduce的Web界面)
http://localhost:50070 [b](HDFS的Web界面)[/b]
Hadoop 的配置文件位于
/usr/local/hadoop/etc/hadoop/中,伪分布式需要修改3个配置文件 core-site.xml 、hdfs-site.xml和 mapred-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
core-site.xml文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml文件
如何没有这个文件使用mapred-site.xml.template文件,
修改后在重命名为[b]mapred-site.xml[/b]
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置完成后,执行 namenode 的格式化:
bin/hadoop namenode -format
成功标识:
显示 Exiting with status 0
namenode :SHUDOWN_MSG:
输入命令,启动进程
sbin/start-all.sh
查看进程启动情况:
jps
成功标志
NameNode
SecondaryNameNode
Jps
Datanode
NodeManager
ResourceManager
打开浏览器,输入网址
http://localhost:8088 或者 http://localhost:50030 (MapReduce的Web界面)
http://localhost:50070 [b](HDFS的Web界面)[/b]
相关文章推荐
- [Linux] - CentOS 安装nginx
- linux下vsftp软件正常启动了,也能正常连接,但是就是没办法正常浏览文件夹
- shell中sed用法
- linux学习笔记 - 登陆环境与man page
- [原创]Linux系统启动过程分析
- linux更改不同版本的gcc
- Linux 文件系统:procfs, sysfs, debugfs 用法简介
- 做ppt常用网站
- ArcGIS Desktop 10.1+ArcEngine10.1完全破解安装教程2(含下载地址+亲测可用!)
- tomcat的接口设置和tomcat的中文字符集设置
- [ubuntu入门手册]-6-如何安装VMware Workstation for Linux
- Docker 数据管理
- 进程02
- 两个效果不错胡时间轴网站
- linux新建用户与权限修改
- OpenGL红宝书例子2.2 uniform变量的使用
- Nodejs中调用系统命令、Shell脚本和Python脚本的方法和实例
- 架构师的基本知识一
- linux配置jco3
- Linux - info