Hadoop伪分布式集群搭建
2017-12-16 12:17
239 查看
声明:作者原创,转载注明出处。
作者:帅气陈吃苹果
作者:帅气陈吃苹果
1、下载Hadoop压缩包
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz[/code]2、解压Hadoop压缩包
mkdir /bigdata tar -zxvf hadoop-2.6.5.tar.gz -C /bigdata3、配置Hadoop(伪分布式)
cd /bigdata/hadoop-2.6.5/etc/hadoop
1)vim hadoop-env.xmlexport JAVA_HOME=/usr/lib/jvm/java
2)vim core-site.xml<configuration> <!-- 配置hdfs的namenode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://master</value> <property> <!-- 配置Hadoop运行时产生数据的存储目录,注意:不是临时数据 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/local/var/hadoop/tmp/hadoop~${user.name}</value> </property> </configuration>
3)vim hdfs-site.xml<configuration> <!-- 指定HDFS存储数据的副本数据量--> <property> <name>dfs.replication</name> <value>1</value> <property> </configuration>
4)vim mapred-site.xml<configuration> <!-- 指定MapReduce编程模型运行在YARN上--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <property> </configuration>
5)vim yarn-site.xml<configuration> <!-- 指定YARN的resourcemanager的地址(伪分布式时就是主机名,localhost或IP地址都行) --> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> <property> <!-- MapReduce执行shuffle时获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> <property> </configuration>
6)vim /etc/hosts
添加主机ip与主机名的映射:192.168.29.188 master4、HDFS初始化
即格式化HDFS(的namenode),cd hadoop/hadoop-2.6.5/bin hadoop namenode -format5、启动Hadoop集群
cd hadoop/hadoop-2.6.5/sbin //在hadoop-2.x中,推荐使用start-dfs.sh和start-yarn.sh来分别启动 start-all.sh6、使用jps命令查看进程是否存在
8707 DataNode 8580 NameNode 9013 ResourceManager 8873 SecondaryNameNode 18057 Application 9308 NodeManager 17644 Jps7、查看WEB界面
访问HDFS的管理界面:ip:50070
访问YARN的管理界面:ip:8088
相关文章推荐
- HaDoop_分布式集群搭建(zookeeper,hadoop)
- 搭建hadoop2.6.0完全分布式集群
- 搭建基于hadoop 2.2.0的分布式集群启动时出现 "Unable to load native-hadoop library for your platform" 的解决方案
- hadoop备战:一台x86计算机搭建hadoop的全分布式集群
- Hadoop(二)搭建伪分布式集群【转载】
- hadoop集群分布式搭建以及环境配置
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
- spark2.0.2基于hadoop2.4搭建分布式集群
- hadoop分布式集群搭建
- 使用Docker在本地搭建Hadoop分布式集群
- Hadoop、ZooKeeper、Hive、HBase 七节点分布式集群搭建
- Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建 全过程
- Hadoop分布式集群环境搭建(三节点)
- [置顶] Hadoop2.7.5集群分布式环境搭建
- Hadoop2.7.3完全分布式集群搭建和测试
- Hadoop2.7.3完全分布式集群搭建和测试
- 『实践』hadoop2.7.3+Centos6.8+VirtualBox5.1.18搭建hadoop完全分布式集群
- 【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode,总显示0