Hadoop学习笔记之--Hadoop的安装
2017-07-12 20:03
281 查看
由于没有集群环境,只能在一台电脑上进行Hadoop的搭建,因此只能以伪分布式的方式进行搭建。
JDK版本:1.8.0_131
Hadoop版本:2.8.0
准备工作
操作系统:CentOS 7JDK版本:1.8.0_131
Hadoop版本:2.8.0
操作系统安装
系统最好为Linux,推荐CentOS,关于系统安装,这里不赘述。JAVA环境配置
1.下载jdk$ wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz[/code]
2.解压jdk-8u131-linux-x64.tar.gz:$ tar -zvxf jdk-8u131-linux-x64.tar.gz
3.将解压的文件放到/usr/local下:$ sudo mv jdk1.8.0_131 /usr/local/
4.打开/etc/bashrc$ sudo vim /etc/bashrc
5.加入如下内容export JAVA_HOME=/usr/local/jdk1.8.0_131 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
6.使更改生效$ source /ect/bashrc
7.测试配置是否成功$ java
8.当出现如下图片内容,则表明配置成功。系统环境配置
1.安装SSH服务(一般CentOS都带有此服务,如果是,请直接跳过)$ sudo yum install openssh-server openssh-clients
2.配置SSH免密码登陆$ ssh-keygen # 期间需连续回车多次 $ ssh-copy-id user@host # 期间需要输入密码
关于详细的SSH免密码登陆配置,详情请戳:ssh免密码登录Hadoop安装
1.下载Hadoop包$ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz[/code]
2.解压 hadoop-2.8.0.tar.gz$ tar -zvxf hadoop-2.8.0.tar.gz
3.将 hadoop-2.8.0 移至 /usr/local/ 路径下$ sudo mv hadoop-2.8.0 /usr/local/
4.修改相关配置文件
打开/usr/local/hadoop-2.8.0/etc/hadoop/mapred-site.xml
加入如下内容:<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
打开/usr/local/hadoop-2.8.0/etc/hadoop/yarn-site.xml
加入如下内容<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
5.启动各项服务:/usr/lcaol/hadoop-2.8.0/sbin/start-dfs.sh # 启动HDFS /usr/local/hadoop-2.8.0/sbin/start-yarn.sh # 启动YARN /usr/local/hadoop-2.8.0/sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器,才能在Web中查看任务运行情况
执行jps$ jps
出现如下:
通过浏览器打开如下URL:http://localhost:8088/cluster
可通过浏览器查看任务情况:
至此,Hadoop基本安装成功了。
相关文章推荐
- Hadoop学习笔记二 安装部署
- 开始hadoop前的准备:ubuntu学习笔记-基本环境的搭建(ssh的安装,SecureCRT连接,vim的安装及使用、jdk的安装)
- hadoop学习笔记(一):安装hadoop
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- hadoop学习笔记(2)-hadoop安装目录权限的问题导致datanode启动失败
- Hadoop学习笔记二 安装部署
- hadoop学习笔记(二):安装hive
- Hadoop学习笔记二 安装部署
- Hadoop学习笔记3---安装并运行Hadoop
- Hadoop学习笔记二 安装部署
- Hadoop学习笔记-Hadoop在Windows下安装
- hadoop学习笔记1--centos6.2 64位 最小化(minimal)安装配置
- 云计算学习笔记004---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载
- Hadoop学习笔记二 安装部署
- 【hadoop学习笔记】1.hadoop安装
- hadoop学习笔记之--完全分布模式安装
- hadoop学习笔记之-hbase完全分布模式安装
- Hadoop学习笔记-Hadoop在Windows下安装
- Hadoop学习笔记二 安装部署