hadoop1学习系列2-hadoop伪分布安装
2014-06-13 23:16
309 查看
1.hadoop的伪分布安装(采用Host-only模式)
1.1 设置ip地址
1.1.1设置宿主机的VirtualBox Host-only Network网路设置
IP地址:192.168.56.1
子网掩码:255.255.255.0
默认网关:不填
1.1.2设置VirtualBox虚拟机的网路连接
网卡1:启用网路连接
连接方式:仅主机(Host-Only)适配器
高级:保持默认
1.1.3启动linux系统,(使用centos6.4),以root用户登录
设置IP地址IPv4 Settings
Method:Manual
Address:192.168.56.100(必须与宿主机在同一网段)
Netmask:255.255.255.0
Gateway:192.168.56.1(此处必须与宿主机的VirtualBox Ip地址一样)
执行命令 service network restart
验证: ifconfig
测试:宿主机可ping通linux,linux不可以ping通宿主机(Host-Only的安全机制)
1.2 关闭防火墙
执行命令 service iptables stop
验证: service iptables status
1.3 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证 chkconfig --list | grep iptables
1.4 设置主机名
(1)hostname hadoop
(2)vi /etc/sysconfig/network
修改HOSTNAME=hadoop
(3)重启 reboot -h now 发现hostname已经改变
1.5 ip与hostname绑定
执行命令:vi /etc/hosts
增加一行:192.168.56.100 hadoop
验证:ping hadoop
1.6 设置ssh免密码登录
执行命令 (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证:ssh hadoop 和ssh localhost
再次ssh hadoop将不用再使用密码
///////////////////linux设置完毕/////////////////////////////////////
1.7 安装jdk
执行命令:
(1)cd /usr/local 安装包在此目录下
(2)rm -rf /usr/local/* 删除此目录下所有文件,没有用
(3)chmod u+x jdk-6u24-linux-i586.bin
(4)./jdk-6u24-linux-i586.bin
(5)mv jdk1.6.0_24 jdk
(6)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
(7)source /etc/profile
(8)验证 java -version
1.8 安装hadoop
(1)tar -zxvf hadoop-1.1.2.tar.gz
(2)mv hadoop-1.1.2 hadoop
(3)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_HOME_WARN_SUPPRESS=1 #去除警告
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(4)source /etc/profile
(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
注意主机名的更换
5-1:hadoop-env.sh
export JAVA_HOME=/usr/local/jdk #第9行
5-2:core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
5-3:hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
5-4:mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
</configuration>
(6)hadoop namenode -format
(7)start-all.sh #启动hadoop
验证:jps 五个java进程
namenode,secondarynamenode,jobtracker,datanode,tasktracker
1.9 启动时没有NameNode的可能原因:
(1)没有格式化
(2)环境变量设置错误
(3)ip与hostname绑定失败
1.10 web
hadoop:50070 hdfs界面
hadoop:50030 jobtracker M-R界面
1.11 hadoop dfs -mkdir /user/root
hadoop dfs -ls 默认查找/user/root目录,若没有提示no such directory
-------------------------伪分布模式安装完毕---------------------------------------------------------
1.1 设置ip地址
1.1.1设置宿主机的VirtualBox Host-only Network网路设置
IP地址:192.168.56.1
子网掩码:255.255.255.0
默认网关:不填
1.1.2设置VirtualBox虚拟机的网路连接
网卡1:启用网路连接
连接方式:仅主机(Host-Only)适配器
高级:保持默认
1.1.3启动linux系统,(使用centos6.4),以root用户登录
设置IP地址IPv4 Settings
Method:Manual
Address:192.168.56.100(必须与宿主机在同一网段)
Netmask:255.255.255.0
Gateway:192.168.56.1(此处必须与宿主机的VirtualBox Ip地址一样)
执行命令 service network restart
验证: ifconfig
测试:宿主机可ping通linux,linux不可以ping通宿主机(Host-Only的安全机制)
1.2 关闭防火墙
执行命令 service iptables stop
验证: service iptables status
1.3 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证 chkconfig --list | grep iptables
1.4 设置主机名
(1)hostname hadoop
(2)vi /etc/sysconfig/network
修改HOSTNAME=hadoop
(3)重启 reboot -h now 发现hostname已经改变
1.5 ip与hostname绑定
执行命令:vi /etc/hosts
增加一行:192.168.56.100 hadoop
验证:ping hadoop
1.6 设置ssh免密码登录
执行命令 (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证:ssh hadoop 和ssh localhost
再次ssh hadoop将不用再使用密码
///////////////////linux设置完毕/////////////////////////////////////
1.7 安装jdk
执行命令:
(1)cd /usr/local 安装包在此目录下
(2)rm -rf /usr/local/* 删除此目录下所有文件,没有用
(3)chmod u+x jdk-6u24-linux-i586.bin
(4)./jdk-6u24-linux-i586.bin
(5)mv jdk1.6.0_24 jdk
(6)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
(7)source /etc/profile
(8)验证 java -version
1.8 安装hadoop
(1)tar -zxvf hadoop-1.1.2.tar.gz
(2)mv hadoop-1.1.2 hadoop
(3)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_HOME_WARN_SUPPRESS=1 #去除警告
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(4)source /etc/profile
(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
注意主机名的更换
5-1:hadoop-env.sh
export JAVA_HOME=/usr/local/jdk #第9行
5-2:core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
5-3:hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
5-4:mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
</configuration>
(6)hadoop namenode -format
(7)start-all.sh #启动hadoop
验证:jps 五个java进程
namenode,secondarynamenode,jobtracker,datanode,tasktracker
1.9 启动时没有NameNode的可能原因:
(1)没有格式化
(2)环境变量设置错误
(3)ip与hostname绑定失败
1.10 web
hadoop:50070 hdfs界面
hadoop:50030 jobtracker M-R界面
1.11 hadoop dfs -mkdir /user/root
hadoop dfs -ls 默认查找/user/root目录,若没有提示no such directory
-------------------------伪分布模式安装完毕---------------------------------------------------------
相关文章推荐
- 【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)
- 【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(完全分布模式)
- hadoop学习系列1之在ubuntu12.04下搭建伪分布式Hadoop-1.1.1环境并安装eclipse
- Hadoop学习记录(1)|伪分布安装
- VMWare虚拟机安装CentOS 7 Linux及Hadoop与Eclipse学习环境(2-伪分布模式hadoop环境)
- hadoop 入门学习系列十----oozie安装
- hadoop入门学习系列之四hadoop的hive安装和配置
- 个人hadoop学习总结:Hadoop集群+HBase集群+Zookeeper集群+chukwa监控(包括单机、伪分布、完全分布安装操作)
- hadoop学习笔记之-hbase完全分布模式安装-5
- centos7全分布模式安装hadoop--hadoop安装系列之二
- hadoop 入门学习系列十一----hue安装
- hadoop学习系列1之Ubuntu12.04安装
- 大数据学习篇:hadoop深入浅出系列之hadoop伪分布式安装
- hadoop学习第一天之伪分布模式安装( 上)
- 大数据学习系列----安装Hadoop
- [Hadoop系列]Hadoop的安装-2.伪分布模式
- Hadoop学习系列教程——单机版hadoop的配置安装
- Hadoop学习笔记(3)hadoop伪分布模式安装
- Hadoop学习笔记(十三)---Hbase的伪分布安装及配置
- hadoop入门学习系列之六hadoop学习之sqoop安装