Hadoop2.6深入伪分布安装(CentOS 6.5)
2015-05-27 22:15
447 查看
一、安装前准备
CentOS6.5(64bit)
hadoop-2.6.0-64.tar.gz
jdk-7u67-linux-x64.tar.gz
二、安装
1、关闭防火墙和SELinux
2、设置静态IP地址
3、修改HostName
4、IP与HostName绑定
内容:IP地址 (主机名+域名) 主机名
5、设置SSH免密码登陆
6、安装JDK
安装目录:/install/
版本:jdk-7u67-linux-x64.tar.gz
解压缩:
设置环境变量:
添加内容:
使配置生效:
验证:
7、安装hadoop
1)解压tar包
2)设置环境变量
使配置生效:
3)配置
1、hadoop-env.sh
2、yarn-env.sh(一般可以不添加)
3、mapred-env.sh(一般可以不添加)
4、core-site.xml
5、hdfs-site.xml
6、yarn-site.xml
7、mapred-site.xml
NameNode 格式化
4)启动
1、启动HDFS
NameNode、DataNode、SecondaryNameNode
–启动NameNode
验证:
–启动DataNode
验证:
–启动SecondaryNameNode
验证:
2、启动YARN
ResourceManager、NodeManager
启动ResourceManger
启动NodeManager
验证:
3、运行例程
1、统计单词
2、求PI值
后面2个数字参数的含义:
第1个100指的是要运行100次map任务
第2个数字指的是每个map任务,要投掷多少次
2个参数的乘积就是总的投掷次数。
扩展:
蒙特卡洛算法,我们取一个单位的正方形里面做一个内切圆(单位圆),则 单位正方形面积 : 内切单位圆面积 = 单位正方形内的飞镖数 : 内切单位圆内的飞镖数 ,通过计算飞镖个数就可以把单位圆面积算出来, 通过面积,在把圆周率计算出来。 注意 :精度和你投掷的飞镖次数成正比。
hadoop的examples中的计算PI的方法属于是采用大量采样的统计学方法,还是属于数据密集型的工作。
查看历史服务器端口号
历史服务器(查看作业历史运行情况)
启动/关闭历史服务器
三、启动HDFS与YARN的方式
方式一:逐一启动
hadoop-daemon.sh、yarn-daemon.sh(实际项目中)
方式二:分开启动
start-dfs.sh、start-yarn.sh
方式三:一起启动
start-all.sh(不推荐,Hadoop1.x保留的)
HDFS启动时如何使用SSH协议?
三种启动方式的关系
CentOS6.5(64bit)
hadoop-2.6.0-64.tar.gz
jdk-7u67-linux-x64.tar.gz
二、安装
1、关闭防火墙和SELinux
service iptables status (查看) service iptables stop chkconfig iptables off (永久关闭)
vi /etc/sysconfig/selinux 设置 SELINUX=disabled
2、设置静态IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
3、修改HostName
hostname hadoop-yarn.dragon.org 当前生效 vi /etc/sysconfig/network 下次启动生效
4、IP与HostName绑定
vi /etc/hosts
内容:IP地址 (主机名+域名) 主机名
192.168.48.128 hadoop1.dragon.org hadoop1
5、设置SSH免密码登陆
ssh-keygen -t rsa cd /root/.ssh/ ssh-copy-id root@localhost ssh localhost
6、安装JDK
安装目录:/install/
版本:jdk-7u67-linux-x64.tar.gz
解压缩:
tar -zxvf jdk-7u67-linux-x64.tar.gz
设置环境变量:
vim /etc/profile
添加内容:
export J***A_HOME=/install/jdk export PATH=.:$J***A_HOME/bin:$PATH
使配置生效:
source /etc/profile
验证:
java -version
7、安装hadoop
1)解压tar包
tar -zxvf hadoop-2.6.0-64.tar.gz
2)设置环境变量
export J***A_HOME=/install/jdk export HADOOP_HOME=/install/hadoop export PATH=.:$J***A_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
使配置生效:
source /etc/profile
3)配置
1、hadoop-env.sh
# The java implementation to use. #export J***A_HOME=${J***A_HOME} export J***A_HOME=/install/jdk
2、yarn-env.sh(一般可以不添加)
# some Java parameters # export J***A_HOME=/home/y/libexec/jdk1.6.0/ export J***A_HOME=/install/jdk
3、mapred-env.sh(一般可以不添加)
# export J***A_HOME=/home/y/libexec/jdk1.6.0/ export J***A_HOME=/install/jdk
4、core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://hadoop1:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/install/hadoop/data/tmp</value> </property> </configuration>
5、hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
6、yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
7、mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
NameNode 格式化
hdfs namenode -format(core-site.xml、hdfs-site.xml、hadoop-env.sh)
STARTUP_MSG: host = hadoop1/172.18.50.101 ... Formatting using clusterid: CID-862191a5-ead4-4cf4-b345-2d7d243bec79 15/04/26 09:52:10 INFO common.Storage: Storage directory /install/hadoop/data/tmp/dfs/name
4)启动
1、启动HDFS
NameNode、DataNode、SecondaryNameNode
–启动NameNode
hadoop-daemon.sh start namenode
验证:
方式1、jps 方式2、http://hadoop1:50070/
–启动DataNode
hadoop-daemon.sh start datanode
验证:
方式1、jps 方式2、http://hadoop1:50075/
–启动SecondaryNameNode
sbin/hadoop-daemon.sh start secondarynamenode
验证:
方式1、jps 方式2、http://hadoop1:50090/
2、启动YARN
ResourceManager、NodeManager
启动ResourceManger
yarn-daemon.sh start resourcemanager
启动NodeManager
yarn-daemon.sh start nodemanager
验证:
方式1、jps 方式2、http://hadoop1:8088/
3、运行例程
1、统计单词
yarn jar /install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input /output
2、求PI值
yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 100 1000
后面2个数字参数的含义:
第1个100指的是要运行100次map任务
第2个数字指的是每个map任务,要投掷多少次
2个参数的乘积就是总的投掷次数。
扩展:
蒙特卡洛算法,我们取一个单位的正方形里面做一个内切圆(单位圆),则 单位正方形面积 : 内切单位圆面积 = 单位正方形内的飞镖数 : 内切单位圆内的飞镖数 ,通过计算飞镖个数就可以把单位圆面积算出来, 通过面积,在把圆周率计算出来。 注意 :精度和你投掷的飞镖次数成正比。
hadoop的examples中的计算PI的方法属于是采用大量采样的统计学方法,还是属于数据密集型的工作。
查看历史服务器端口号
netstat -tnlp|grep 19888
历史服务器(查看作业历史运行情况)
启动/关闭历史服务器
mr-jobhistory-daemon.sh start historyserver mr-jobhistory-daemon.sh stop historyserver
http://hadoop1:19888/
三、启动HDFS与YARN的方式
方式一:逐一启动
hadoop-daemon.sh、yarn-daemon.sh(实际项目中)
方式二:分开启动
start-dfs.sh、start-yarn.sh
方式三:一起启动
start-all.sh(不推荐,Hadoop1.x保留的)
HDFS启动时如何使用SSH协议?
三种启动方式的关系
相关文章推荐
- Centos6.5 64位Hadoop伪分布安装教程
- CentOS6.5 64位安装单机版hadoop2.6教程
- centos6.8平台上安装hive(基于Mysql6.5 和hadoop2.7.3伪分布集群下)
- Centos6.5 64位Hadoop完全分布安装教程
- Hadoop学习笔记-009-CentOS_6.5_64_HA高可用-Hadoop2.6+Zookeeper3.4.5安装Hive1.1.0
- Hadoop学习笔记-010-CentOS_6.5_64_HA高可用-Hadoop2.6+Zookeeper3.4.5安装Hbase1.0.0
- CentOS下Hadoop伪分布模式安装笔记
- CentOS6.5安装Hadoop2.7完整流程
- 简明的hadoop 2.5 HA 基于centos6.5 安装部署文档(hdfs,mapreduce,hbase)
- 64位CentOS6.8安装hadoop伪分布与64位win10Eclipse的Hadoop开发框架配置
- centos6.5 hadoop2.6.3分布式集群安装
- Linux CentOS下Hadoop伪分布模式安装笔记
- centos单机安装Hadoop2.6
- Linux(CentOS)下伪分布模式安装Hadoop
- CentOS下Hadoop伪分布模式安装笔记
- 大数据之Hadoop平台(二)Centos6.5(64bit)Hadoop2.5.1伪分布式安装记录,wordcount运行测试
- CentOS 6 安装Hadoop 2.6 (四)运行简单例子
- Hadoop 1.2.1 (centos 6.4下) 伪分布模式下安装
- Centos6.5 64位 安装Hadoop2.7.0, MapReduce日志分析, Hive2.1.0, JDBC连接Hive查询 (1)
- centos6.5安装redmine2.6