Ubuntu Kylin 安装和部署Hadoop(伪分布式)
2017-02-07 00:00
375 查看
摘要: 简单整理和记录在Ubuntu Kylin 16.04 LTS上安装和部署Hadoop2.7.3。
####一、配置用户信息
1.添加用户到sudo组(用户名以实际情况为准,这里使用Kevin举例):
2.添加到hadoop,并将用户添加到hadoop:
####二、配置ssh免密码登录
1.安装ssh server:
2.ssh免密配置:
3.检测是否能直接登录:
####三、配置JDK
参考文章《Ubuntu Kylin 安装和配置JDK》。
####四、安装和配置Hadoop环境变量
1.下载Hadoop2.7.3:
2.解压Hadoop压缩文件:
3.重命名Hadoop文件夹:
4.修改文件权限:
5.配置Hadoop环境变量:
执行以下命令:
打开界面后,在之前配置的JAVA_HOME后面输入:
使配置立即生效:
6.检测Hadoop安装是否成功:
####五、配置Hadoop伪分布式
1.切换至配置文件目录:
2.配置 core-site.xml:
执行命令:
将文件中的<configuration></configuration>替换为:
3.配置 hdfs-site.xml:
执行命令:
将文件中的<configuration></configuration>替换为:
4.配置yarn-site.xml:
执行命令:
将文件中的<configuration></configuration>替换为:
5.配置mapred-site.xml:
从模板文件复制一个xml,执行命令:
再执行命令:
将文件中的<configuration></configuration>替换为:
6.配置hadoop-env.sh:
执行命令:
配置文件中的JAVA_HOME(JDK路径以实际情况为准):
7.配置完成后,执行格式化:
出现Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。
8.启动hadoop所有的进程:
9.查看各个进程是否正常启动:
执行命令:
执行结果:
10.在网页上查看Hadoop信息:
####六、参考文章
1.在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)(http://www.linuxidc.com/Linux/2015-09/122873.htm)
####一、配置用户信息
1.添加用户到sudo组(用户名以实际情况为准,这里使用Kevin举例):
sudo adduser Kevin sudo
2.添加到hadoop,并将用户添加到hadoop:
su addgroup hadoop usermod -a -G hadoop Kevin
####二、配置ssh免密码登录
1.安装ssh server:
sudo apt-get install openssh-server
2.ssh免密配置:
cd ~/.ssh/ #若没有该目录,请先执行一次ssh localhost ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys
3.检测是否能直接登录:
ssh localhost
####三、配置JDK
参考文章《Ubuntu Kylin 安装和配置JDK》。
####四、安装和配置Hadoop环境变量
1.下载Hadoop2.7.3:
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/
2.解压Hadoop压缩文件:
sudo tar -zxvf /home/Kevin/下载/hadoop-2.7.3.tar.gz -C /usr/local
3.重命名Hadoop文件夹:
cd /usr/local/ sudo mv ./hadoop-2.7.3/ ./hadoop
4.修改文件权限:
sudo chown -R Kevin ./hadoop
5.配置Hadoop环境变量:
执行以下命令:
sudo nano /etc/profile
打开界面后,在之前配置的JAVA_HOME后面输入:
export HADOOP_INSTALL=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
使配置立即生效:
source /etc/profile
6.检测Hadoop安装是否成功:
hdfs
####五、配置Hadoop伪分布式
1.切换至配置文件目录:
cd /usr/local/hadoop/etc/hadoop
2.配置 core-site.xml:
执行命令:
nano core-site.xml
将文件中的<configuration></configuration>替换为:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
3.配置 hdfs-site.xml:
执行命令:
nano hdfs-site.xml
将文件中的<configuration></configuration>替换为:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
4.配置yarn-site.xml:
执行命令:
nano yarn-site.xml
将文件中的<configuration></configuration>替换为:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
5.配置mapred-site.xml:
从模板文件复制一个xml,执行命令:
mv mapred-site.xml.template mapred-site.xml
再执行命令:
nano mapred-site.xml
将文件中的<configuration></configuration>替换为:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
6.配置hadoop-env.sh:
执行命令:
nano hadoop-env.sh
配置文件中的JAVA_HOME(JDK路径以实际情况为准):
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
7.配置完成后,执行格式化:
hdfs namenode -format
出现Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。
8.启动hadoop所有的进程:
start-all.sh
9.查看各个进程是否正常启动:
执行命令:
jps
执行结果:
5385 Jps 2422 NameNode 2538 DataNode 2742 SecondaryNameNode 3008 NodeManager 2892 ResourceManager
10.在网页上查看Hadoop信息:
http://localhost:50070
####六、参考文章
1.在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)(http://www.linuxidc.com/Linux/2015-09/122873.htm)
相关文章推荐
- Hadoop:Hadoop的分布式(伪分布式)部署安装
- Flume1.5.0的安装、部署、简单应用(含分布式、与hadoop2.2.0、hbase0.96的案例)
- Hadoop 1.x 伪分布式安装部署
- hadoop-2.4.1 HA 分布式集群安装部署
- Hadoop2.7.2分布式部署3(安装部署hadoop分布式)
- Hadoop:Hadoop的分布式(伪分布式)部署安装
- Hadoop 2.6.0 完全分布式部署安装
- Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例)
- centOS6.5安装hadoop2.7的分布式部署(三台主机)
- Hadoop伪分布式模式安装部署
- linux(redhat)环境下Hadoop 2.2.0安装部署(单机伪分布式)
- Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例)
- 用 Hadoop 进行分布式并行编程(一)基本概念与安装部署
- Hadoop 1.x 伪分布式安装部署
- linux下从安装JDK到安装ssh到hadoop单机伪分布式部署
- hadoop1.2.1 安装及伪分布式部署
- (4) Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例) (1-8)
- Hadoop2.4.0-Hbase-098.9-完全分布式安装部署
- Hadoop教程(五)Hadoop分布式集群部署安装
- 用 Hadoop 进行分布式并行编程, 第 1 部分 基本概念与安装部署