Hadoop2.6.0-Centos7.0真机安装过程
2015-04-17 15:19
211 查看
版本: hadoop2.6.0
依赖: jdk1.8.0_40 , eclipse(java普通版) , glibc_2.14
hadoop_eclipse_plugin_2.6.0
测试所用用户名: garreet.king
部署模式: 伪分布式部署
1) 安装JDK,解压安装在/usr/program/jdk1.8.0_40目录下
2) 安装hadoop,解压安装在/usr/program/hadoop-2.6.0目录下
3) 在/etc/profile文件中配置JDK的环境变量,加到文件末尾
4) 在/etc/profile文件中配置hadoop的环境变量,加到文件末尾
5) 设置/etc/profile为可执行,并执行环境变量
6) 检查java和hadoop是否成功
7) 配置无密码ssh
8) 创建hadoop内的相关目录,在hadoop目录内执行命令
9) 配置hadoop,以下路径均为相对hadoop的路径
《etc/hadoop/hadoop-env.sh》 文件中
《etc/hadoop/core-site.xml》文件中
《hdfs-site.xml》文件中
《mapred-site.xml》 文件中
《 yarn-site.xml 》 文件中:
10)格式化hadoop的文件系统
看到dfs/name/current文件夹,就是成功了,这里只能执行一次
不然data和name里面的文件就不匹配了,修正的方法,这里不涉及
11.)启动hadoop
用 jps 命令查看,有以下进程则为成功
SecondaryNameNode
Jps
NameNode
DataNode
ResourceManager
NodeManager
12)验证hadoop
看到 test 目录的描述,就是正确了
依赖: jdk1.8.0_40 , eclipse(java普通版) , glibc_2.14
hadoop_eclipse_plugin_2.6.0
测试所用用户名: garreet.king
部署模式: 伪分布式部署
1) 安装JDK,解压安装在/usr/program/jdk1.8.0_40目录下
chown -R garreet.king /usr/program/jdk1.8.0_40
2) 安装hadoop,解压安装在/usr/program/hadoop-2.6.0目录下
chown -R garreet.king /usr/program/hadoop-2.6.0
3) 在/etc/profile文件中配置JDK的环境变量,加到文件末尾
#set java environment export JAVA_HOME=/usr/program/jdk1.8.0_40 export JRE_HOME=/usr/program/jdk1.8.0_40/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
4) 在/etc/profile文件中配置hadoop的环境变量,加到文件末尾
# set hadoop export HADOOP_HOME=/usr/program/hadoop-2.6.0 export PATH=$HADOOP_HOME/bin:$PATH
5) 设置/etc/profile为可执行,并执行环境变量
chmod +x /etc/profile source /etc/profile
6) 检查java和hadoop是否成功
java -version hadoop version
7) 配置无密码ssh
ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
8) 创建hadoop内的相关目录,在hadoop目录内执行命令
#临时目录 mkdir tmp #数据目录 mkdir dfs cd ./dfs #名称节点目录 mkdir name #真实数据目录 mkdir data cd ..
9) 配置hadoop,以下路径均为相对hadoop的路径
《etc/hadoop/hadoop-env.sh》 文件中
export JAVA_HOME=/usr/program/jdk1.8.0_40
《etc/hadoop/core-site.xml》文件中
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/program/hadoop-2.6.0/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
《hdfs-site.xml》文件中
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/program/hadoop-2.6.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/program/hadoop-2.6.0/dfs/data</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
《mapred-site.xml》 文件中
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
《 yarn-site.xml 》 文件中:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
10)格式化hadoop的文件系统
hadoop namenode -format
看到dfs/name/current文件夹,就是成功了,这里只能执行一次
不然data和name里面的文件就不匹配了,修正的方法,这里不涉及
11.)启动hadoop
cd sbin ./start-dfs.sh ./start-yarn.sh
用 jps 命令查看,有以下进程则为成功
SecondaryNameNode
Jps
NameNode
DataNode
ResourceManager
NodeManager
12)验证hadoop
#创建一个目录 hadoop fs -mkdir /test hadoop fs -ls /
看到 test 目录的描述,就是正确了
相关文章推荐
- centos 7.0 nginx 1.7.9成功安装过程
- centos7.0安装vsftpd上传文件全套过程+踩过的坑
- CentOS6.4配置Hadoop-2.6.0集群配置安装指南(经过实战演练)【张振华.Jack】
- centos上安装hadoop过程
- Hadoop 1.0.3 在CentOS 6.2上安装过程 [远哥安装通过的全程记录]
- centos安装配置hadoop超详细过程
- CentOS6.3安装Hadoop2.6.0_伪分布式配置
- Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
- Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
- CentOS 集群安装hadoop-2.6.0 心得
- CentOS7.0分布式安装HADOOP 2.6.0笔记-转载的
- Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
- CentOS安装Hadoop2.7.2详细过程
- Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
- CentOS 7伪分布式方式安装Hadoop-2.6.0-cdh5.6.0并且通过主机浏览器访问hadoop工作台
- Centos7.0 安装Redis 3.2.1详细过程和使用常见问题
- CentOS 7.4 安装 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop集群
- 【Hadoop入门】Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
- centos安装配置hadoop超详细过程
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0