hadoop2.x.x 伪分布式安装
2015-10-11 19:48
246 查看
软件的安装目录:
/opt/modules/
安装:
0)说明
1、系统:CentOS 6.4 64位
2、关闭防火墙和SELinux
service iptables status
service iptables stop
chkconfig iptables off
vi /etc/sysconfig/selinux
设置 SELINUX=disabled
3、设置静态IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
4、修改HostName
hostname hadoop-yarn.dragon.org
vi /etc/sysconfig/network
5、IP与HostName绑定
vi /etc/hosts
内容:
192.168.48.128 hadoop-yarn.dragon.org hadoop-yarn
6、安装JDK
安装目录:/opt/modules/jdk1.6.0_45
版本:jdk-6u45-linux-x64.bin
命令:
chmod u+x jdk-6u45-linux-x64.bin
./jdk-6u45-linux-x64.bin
设置环境变量:
vi /etc/profile
添加内容:
export JAVA_HOME=/opt/modules/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin
生效:
# source /etc/profile
1)解压tar包
tar -zxvf hadoop-2.2.0.tar.gz -C /opt/modules/
2)安装目录
HADOOP_HOME=/opt/modules/hadoop-2.2.0
环境变量的配置:
export HADOOP_HOME=/opt/modules/hadoop-2.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3)配置
1、hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.6.0_45
2、yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.6.0_45
3、mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.6.0_45
4、core-site.xml
<property>
<name>fs.default.name</name> 过时了应该使用 <name>fs.defaultFS</name>
<value>hdfs://hadoop-yarn.dragon.org:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.2.0/data/tmp</value>
</property>
5、hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
6、yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
7、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4)启动
1、启动HDFS
NameNode、DataNode、SecondaryNameNode
* NameNode 格式化
bin/hdfs namenode -format
* 启动NameNode
sbin/hadoop-daemon.sh start namenode
* 启动DataNode
sbin/hadoop-daemon.sh start datanode
* 启动SecondaryNameNode
sbin/hadoop-daemon.sh start secondarynamenode
以上来自视频的笔记
/opt/modules/
安装:
0)说明
1、系统:CentOS 6.4 64位
2、关闭防火墙和SELinux
service iptables status
service iptables stop
chkconfig iptables off
vi /etc/sysconfig/selinux
设置 SELINUX=disabled
3、设置静态IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
4、修改HostName
hostname hadoop-yarn.dragon.org
vi /etc/sysconfig/network
5、IP与HostName绑定
vi /etc/hosts
内容:
192.168.48.128 hadoop-yarn.dragon.org hadoop-yarn
6、安装JDK
安装目录:/opt/modules/jdk1.6.0_45
版本:jdk-6u45-linux-x64.bin
命令:
chmod u+x jdk-6u45-linux-x64.bin
./jdk-6u45-linux-x64.bin
设置环境变量:
vi /etc/profile
添加内容:
export JAVA_HOME=/opt/modules/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin
生效:
# source /etc/profile
1)解压tar包
tar -zxvf hadoop-2.2.0.tar.gz -C /opt/modules/
2)安装目录
HADOOP_HOME=/opt/modules/hadoop-2.2.0
环境变量的配置:
export HADOOP_HOME=/opt/modules/hadoop-2.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3)配置
1、hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.6.0_45
2、yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.6.0_45
3、mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.6.0_45
4、core-site.xml
<property>
<name>fs.default.name</name> 过时了应该使用 <name>fs.defaultFS</name>
<value>hdfs://hadoop-yarn.dragon.org:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.2.0/data/tmp</value>
</property>
5、hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
6、yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
7、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4)启动
1、启动HDFS
NameNode、DataNode、SecondaryNameNode
* NameNode 格式化
bin/hdfs namenode -format
* 启动NameNode
sbin/hadoop-daemon.sh start namenode
* 启动DataNode
sbin/hadoop-daemon.sh start datanode
* 启动SecondaryNameNode
sbin/hadoop-daemon.sh start secondarynamenode
以上来自视频的笔记
相关文章推荐
- 利用opencv2.4.10+VS2012和RobHess的sift特征算法实现全景图像拼接
- Linux环境变量的设置
- Linux多播问题(No such device)解决方法
- Linux文件打包与解压缩
- 阿里云CentOS 6.5 设备、执行Docker容器和步骤的方法
- 科研/文献/论文——总架构目录
- Linux第四次学习笔记
- [Linux]Ubuntu中的System Setting
- angular.copy
- linux Centos下Mplayer没有声音的解决方法
- 一个新网站长的独白
- linux启动init流程
- 模拟-HDOJ-5336-XYZ and Drops
- Nginx | Outline
- linux git reset –hard的误操作解决方法
- 【nginx运维基础(1)】Nginx的编译安装与使用
- Linux中常用操作命令
- Linux之SAMBA共享服务
- 【Linux高频命令专题(17)】head
- AOP系列(三)—Filter