Hadoop配置
2017-03-20 01:01
183 查看
Hadoop 单机搭建（伪分布式hadoop）
系统：Ubuntu14.04(64位)
Hadoop版本：Hadoop-1.2.1-bin.tar.gz
Jdk版本:jdk-8u51-linux-i586.gz
安装Ubuntu系统，安装过系统后，联网。更新系统（sudo apt-get update）(否则安装ssh时出错)
安装 vim sudo apt-get install vim
1 解压hadoop
在/home/ubuntu目录
tar -xvf hadoop-1.2.1-bin.tar.gz
查看出现：hadoop-1.2.1
2 安装ssh
sudo apt-get install openssh-server(若装有ssh,则无需安装) （需联网安装）
安装ssh时，一直回车。
3 安装rsync
sudoapt-get install rsync (检查系统是否自带，若有无需安装)
（好像也需要联网）
4 配置ssh无密码登陆
ssh-keygen –t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh /authorized_keys
sudo service ssh restart
验证是否成功：ssh localhost
退出命令：exit
5 解压jdk 并配置
在/home/ubuntu目录
(1) 解压：tar -xvf jdk-8u51-linux-i586.gz
查看出现: jdk1.8.0_51
(2) 配置环境变量：
vim~/.bashrc (~ 表示当前用户目录。如：/root /home/ubuntu)
vim/etc/profile
在文件末尾配置
export JAVA_HOME=/home/ubuntu/jdk1.8.0_51
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOEM}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使环境变量生效：source~/.bashrc
(3) 配置默认JDK版本
sudoupdate-alternatives --install /usr/bin/java java /home/ubuntu/jdk1.8.0_51/bin/java300
sudoupdate-alternatives --install /usr/bin/javac javac /home/ubuntu/jdk1.8.0_51/bin/javac 300
sudoupdate-alternatives --install /usr/bin/jar jar /home/ubuntu/jdk1.8.0_51/bin/jar 300
sudoupdate-alternatives --install /usr/bin/javah javah /home/ubuntu/jdk1.8.0_51/bin/javah 300
sudoupdate-alternatives --install /usr/bin/javap javap /home/ubuntu/jdk1.8.0_51/bin/javap 300
然后执行：
sudo update-alternatives --config java
若是初次安装 JDK，将提示
Thereis only one alternative in link group java (providing /usr/bin/java):/usr/lib/jvm/java/bin/java
无需配置。
若是非初次安装，将有不同版本的 JDK 选项，选择版本即可。
(4)由于jdk版本是32位执行：
sudoapt-get install libc6-i386 lib32gcc1 lib32z1 lib32stdc++6
注意此处为阿拉伯数字1
(5)测试
java-version
若出现以下类似结果，说明安装成功：
javaversion "1.8.0_51"
Java(TM)SE Runtime Environment (build 1.7.0_21-b11)
JavaHotSpot(TM) Server VM (build 23.21-b01, mixed mode)
同时可查看jdk的安装路径：
whichjava
出现jdk的安装路径
6 修改hadoop的核心配置文件
在hadoop_1.2.1/conf目录下
（1） 配置hadoop-env.sh文件中
进入文件：vimhadoop-env.sh
找到#JAVA-HOME行
将文件中的JAVA-HOME去掉注释，
并修改该行为：exportJAVA-HOME=/home/ubuntu/jdk1.8.0_51
（2） 配置core-site.xml文件
进入文件：vimcore-site.xml
在<configuration>标签内配置
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
（3） 配置hdfs-site.xml文件
进入文件：vimhdfs-site.xml
在<configuration>标签内配置
<property>
<name>dfs.replication </name>
<value>1</value>
</property>
（4） 配置mapred-site.xml文件
进入文件：vimmapred-site.xml
在<configuration>标签内配置
<property>
<name>mapred.job.tracker </name>
<value>localhost:9001</value>
</property>
7 格式化hadoop的文件系统
bin/hadoop namenode -format
8 启动hadoop
bin/start-all.sh
9. 结束hadoop
bin/stop-all.sh
注意：格式化和启动Hadoop是在hadoop的目录下
9 验证是否成功
http://localhost:50070
http://localhost:50030
若能进入页面，说明登陆成功
Hadoop集群的搭建
系统：Ubuntu14.04(64位)
Hadoop版本：Hadoop-1.2.1-bin.tar.gz
Jdk版本:jdk-8u51-linux-i586.gz
安装Ubuntu系统，安装过系统后，联网。更新系统（sudo apt-get update）(否则安装ssh时出错)
安装 vim sudo apt-get install vim
#首先对所有的节点进行1-5
1 解压hadoop
在/home/ubuntu目录
tar -xvf hadoop-1.2.1-bin.tar.gz
查看出现：hadoop-1.2.1
2 安装ssh
sudo apt-get install openssh-server(若装有ssh,则无需安装) （需联网安装）
安装ssh时，一直回车。
3 安装rsync
sudoapt-get install rsync (检查系统是否自带，若有无需安装)
（好像也需要联网）
4 配置ssh无密码登陆
ssh-keygen –t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh /authorized_keys
验证是否成功：ssh localhost
退出命令：exit
5 解压jdk 并配置
在/home/ubuntu目录
(3) 解压：tar -xvf jdk-8u51-linux-i586.gz
查看出现: jdk1.8.0_51
(4) 配置环境变量：
vim~/.bashrc (~ 表示当前用户目录。如：/root /home/ubuntu)
在文件末尾配置
export JAVA_HOME=/home/ubuntu/jdk1.8.0_51
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOEM}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使环境变量生效：source~/.bashrc
(3) 配置默认JDK版本
sudoupdate-alternatives --install /usr/bin/java java /home/ubuntu/jdk1.8.0_51/bin/java300
sudoupdate-alternatives --install /usr/bin/javac javac /home/ubuntu/jdk1.8.0_51/bin/javac 300
sudoupdate-alternatives --install /usr/bin/jar jar /home/ubuntu/jdk1.8.0_51/bin/jar 300
sudoupdate-alternatives --install /usr/bin/javah javah /home/ubuntu/jdk1.8.0_51/bin/javah 300
sudoupdate-alternatives --install /usr/bin/javap javap /home/ubuntu/jdk1.8.0_51/bin/javap 300
然后执行：
sudo update-alternatives --config java
若是初次安装 JDK，将提示
Thereis only one alternative in link group java (providing /usr/bin/java):/usr/lib/jvm/java/bin/java
无需配置。
若是非初次安装，将有不同版本的 JDK 选项，选择版本即可。
(4)由于jdk版本是32位执行：
sudoapt-get install libc6-i386 lib32gcc1 lib32z1 lib32stdc++6
注意此处为阿拉伯数字1
(5)测试
java-version
若出现以下类似结果，说明安装成功：
javaversion "1.8.0_51"
Java(TM)SE Runtime Environment (build 1.7.0_21-b11)
JavaHotSpot(TM) Server VM (build 23.21-b01, mixed mode)
同时可查看jdk的安装路径：
whichjava
出现jdk的安装路径
(主节点只执行) 6-7
6配置静态IP：
vim /etc/network/interfaces :进入interfaces中，增加如下脚本
autoeth0
ifaceeth0 inet static
address192.168.0.146
netmask255.255.255.0
gateway192.168.0.146
然后 /etc/init.d/networking restart 使得静态ip地址生效，如果未生效的话，重启Ubuntu
7修改hadoop的核心配置文件
在hadoop_1.2.1/conf目录下
(1) 修改hosts和hostname
vim /etc/hosts
进入hosts文件：
192.168.0.146 hadoop.main
192.168.0.147 hadoop.slave1
192.168.0.148 hadoop.slave2
vim /etc/hostname
进入 hostname文件：hadoop.main
(2) 修改hadoop-1.2.1/conf文件中的master
hadoop.main
(3)修改hadoop-1.2.1/conf文件中的slave
hadoop.slave1
hadoop.slave2
(4)修改hadoop-1.2.1/conf文件的core-site.xml
< property>
<name>fs.default.name</name>
<value>hdfs://hadoop.main:9000</value>
</property>
(5)修改hadoop-1.2.1/conf文件的hdfs-site.xml
<property>
<name>dfs.replication </name>
<value>2</value>
</property>
注意：由于slave并没有超过3个，所以不能为3
(6)修改hadoop-1.2.1/conf文件的mapred-site.xml
<property>
<name>mapred.job.tracker </name>
<value>hadoop.main :9001</value>
</property>
(从节点只执行) 8-9
8.配置静态IP：
vim /etc/network/interfaces :进入interfaces中，增加如下脚本
autoeth0
ifaceeth0 inet static
address192.168.0.147
netmask255.255.255.0
gateway192.168.0.146
然后 /etc/init.d/networking restart 使得静态ip地址生效，如果未生效的话，重启Ubuntu
9.修改slave1节点hadoop文件配置
(1)在hadoop_1.2.1/conf目录下修改hosts和hostname
hosts文件：
192.168.0.146 hadoop.main
192.168.0.147 hadoop.slave1（本机的ip）
hostname文件：
hadoop.slave1
(3) 实现ssh的无密码登陆（保证main节点可以直接登陆slave1节点）
此处需要利用u盘拷贝，故涉及U盘的挂载和卸载（U盘挂载后Ubuntu才能读取其中文件）
U盘挂载：mount /dev/sdb1 /mnt 将sdb1挂载到mnt文件夹下
注意U盘在/dev目录下。进入/dev文件后，ls sd* ,其中的sdb表示的U盘，注意区别sda，它表示本地盘。
U盘卸载：umount /mnt 注意卸载时需退出mnt目录，否则无法卸载
1)进入main节点的 .ssh文件
cd ~/.ssh
cp id_rsa.pub /mnt (涉及main节点U盘的挂载和卸载)
2)拷贝id_rsa.pub文件到slave1
cp /mnt/id_rsa.pub ~/.ssh (涉及slave1节点U盘的挂载和卸载)
3)进入slave1的.ssh目录
cat id_rsa.pub >> authorized_keys
注意此处可能要删除slave1节点 .ssh文件中一些文件
slave2的搭建和slave1的搭建相同，注意它的IP地址配置，hadoop文件配置
此时hadoop集群搭建成功
每次hadoop启动时都需在主节点进行以下操作
注意：格式化和启动Hadoop是在hadoop的目录下
1格式化hadoop的文件系统
bin/hadoop namenode -format
2启动hadoop
bin/start-all.sh
结束hadoop
bin/stop-all.sh
单词统计程序的运行
进入hadoop的安装目录
bin/hadoop fs -mkdir input
bin/hadoop fs -copyFromLocal /home/ubuntu/hadoop-1.2.1/README.txt input/
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output
查看结果
bin/hadoop fs -ls output
bin/hadoop dfs -cat output /part-r-00000
或者在浏览器界面中输入http://hadoop.mian:50070中点击查看
系统：Ubuntu14.04(64位)
Hadoop版本：Hadoop-1.2.1-bin.tar.gz
Jdk版本:jdk-8u51-linux-i586.gz
安装Ubuntu系统，安装过系统后，联网。更新系统（sudo apt-get update）(否则安装ssh时出错)
安装 vim sudo apt-get install vim
1 解压hadoop
在/home/ubuntu目录
tar -xvf hadoop-1.2.1-bin.tar.gz
查看出现：hadoop-1.2.1
2 安装ssh
sudo apt-get install openssh-server(若装有ssh,则无需安装) （需联网安装）
安装ssh时，一直回车。
3 安装rsync
sudoapt-get install rsync (检查系统是否自带，若有无需安装)
（好像也需要联网）
4 配置ssh无密码登陆
ssh-keygen –t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh /authorized_keys
sudo service ssh restart
验证是否成功：ssh localhost
退出命令：exit
5 解压jdk 并配置
在/home/ubuntu目录
(1) 解压：tar -xvf jdk-8u51-linux-i586.gz
查看出现: jdk1.8.0_51
(2) 配置环境变量：
vim~/.bashrc (~ 表示当前用户目录。如：/root /home/ubuntu)
vim/etc/profile
在文件末尾配置
export JAVA_HOME=/home/ubuntu/jdk1.8.0_51
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOEM}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使环境变量生效：source~/.bashrc
(3) 配置默认JDK版本
sudoupdate-alternatives --install /usr/bin/java java /home/ubuntu/jdk1.8.0_51/bin/java300
sudoupdate-alternatives --install /usr/bin/javac javac /home/ubuntu/jdk1.8.0_51/bin/javac 300
sudoupdate-alternatives --install /usr/bin/jar jar /home/ubuntu/jdk1.8.0_51/bin/jar 300
sudoupdate-alternatives --install /usr/bin/javah javah /home/ubuntu/jdk1.8.0_51/bin/javah 300
sudoupdate-alternatives --install /usr/bin/javap javap /home/ubuntu/jdk1.8.0_51/bin/javap 300
然后执行：
sudo update-alternatives --config java
若是初次安装 JDK，将提示
Thereis only one alternative in link group java (providing /usr/bin/java):/usr/lib/jvm/java/bin/java
无需配置。
若是非初次安装，将有不同版本的 JDK 选项，选择版本即可。
(4)由于jdk版本是32位执行：
sudoapt-get install libc6-i386 lib32gcc1 lib32z1 lib32stdc++6
注意此处为阿拉伯数字1
(5)测试
java-version
若出现以下类似结果，说明安装成功：
javaversion "1.8.0_51"
Java(TM)SE Runtime Environment (build 1.7.0_21-b11)
JavaHotSpot(TM) Server VM (build 23.21-b01, mixed mode)
同时可查看jdk的安装路径：
whichjava
出现jdk的安装路径
6 修改hadoop的核心配置文件
在hadoop_1.2.1/conf目录下
（1） 配置hadoop-env.sh文件中
进入文件：vimhadoop-env.sh
找到#JAVA-HOME行
将文件中的JAVA-HOME去掉注释，
并修改该行为：exportJAVA-HOME=/home/ubuntu/jdk1.8.0_51
（2） 配置core-site.xml文件
进入文件：vimcore-site.xml
在<configuration>标签内配置
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
（3） 配置hdfs-site.xml文件
进入文件：vimhdfs-site.xml
在<configuration>标签内配置
<property>
<name>dfs.replication </name>
<value>1</value>
</property>
（4） 配置mapred-site.xml文件
进入文件：vimmapred-site.xml
在<configuration>标签内配置
<property>
<name>mapred.job.tracker </name>
<value>localhost:9001</value>
</property>
7 格式化hadoop的文件系统
bin/hadoop namenode -format
8 启动hadoop
bin/start-all.sh
9. 结束hadoop
bin/stop-all.sh
注意：格式化和启动Hadoop是在hadoop的目录下
9 验证是否成功
http://localhost:50070
http://localhost:50030
若能进入页面，说明登陆成功
Hadoop集群的搭建
系统：Ubuntu14.04(64位)
Hadoop版本：Hadoop-1.2.1-bin.tar.gz
Jdk版本:jdk-8u51-linux-i586.gz
安装Ubuntu系统，安装过系统后，联网。更新系统（sudo apt-get update）(否则安装ssh时出错)
安装 vim sudo apt-get install vim
#首先对所有的节点进行1-5
1 解压hadoop
在/home/ubuntu目录
tar -xvf hadoop-1.2.1-bin.tar.gz
查看出现：hadoop-1.2.1
2 安装ssh
sudo apt-get install openssh-server(若装有ssh,则无需安装) （需联网安装）
安装ssh时，一直回车。
3 安装rsync
sudoapt-get install rsync (检查系统是否自带，若有无需安装)
（好像也需要联网）
4 配置ssh无密码登陆
ssh-keygen –t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh /authorized_keys
验证是否成功：ssh localhost
退出命令：exit
5 解压jdk 并配置
在/home/ubuntu目录
(3) 解压：tar -xvf jdk-8u51-linux-i586.gz
查看出现: jdk1.8.0_51
(4) 配置环境变量：
vim~/.bashrc (~ 表示当前用户目录。如：/root /home/ubuntu)
在文件末尾配置
export JAVA_HOME=/home/ubuntu/jdk1.8.0_51
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOEM}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使环境变量生效：source~/.bashrc
(3) 配置默认JDK版本
sudoupdate-alternatives --install /usr/bin/java java /home/ubuntu/jdk1.8.0_51/bin/java300
sudoupdate-alternatives --install /usr/bin/javac javac /home/ubuntu/jdk1.8.0_51/bin/javac 300
sudoupdate-alternatives --install /usr/bin/jar jar /home/ubuntu/jdk1.8.0_51/bin/jar 300
sudoupdate-alternatives --install /usr/bin/javah javah /home/ubuntu/jdk1.8.0_51/bin/javah 300
sudoupdate-alternatives --install /usr/bin/javap javap /home/ubuntu/jdk1.8.0_51/bin/javap 300
然后执行：
sudo update-alternatives --config java
若是初次安装 JDK，将提示
Thereis only one alternative in link group java (providing /usr/bin/java):/usr/lib/jvm/java/bin/java
无需配置。
若是非初次安装，将有不同版本的 JDK 选项，选择版本即可。
(4)由于jdk版本是32位执行：
sudoapt-get install libc6-i386 lib32gcc1 lib32z1 lib32stdc++6
注意此处为阿拉伯数字1
(5)测试
java-version
若出现以下类似结果，说明安装成功：
javaversion "1.8.0_51"
Java(TM)SE Runtime Environment (build 1.7.0_21-b11)
JavaHotSpot(TM) Server VM (build 23.21-b01, mixed mode)
同时可查看jdk的安装路径：
whichjava
出现jdk的安装路径
(主节点只执行) 6-7
6配置静态IP：
vim /etc/network/interfaces :进入interfaces中，增加如下脚本
autoeth0
ifaceeth0 inet static
address192.168.0.146
netmask255.255.255.0
gateway192.168.0.146
然后 /etc/init.d/networking restart 使得静态ip地址生效，如果未生效的话，重启Ubuntu
7修改hadoop的核心配置文件
在hadoop_1.2.1/conf目录下
(1) 修改hosts和hostname
vim /etc/hosts
进入hosts文件：
192.168.0.146 hadoop.main
192.168.0.147 hadoop.slave1
192.168.0.148 hadoop.slave2
vim /etc/hostname
进入 hostname文件：hadoop.main
(2) 修改hadoop-1.2.1/conf文件中的master
hadoop.main
(3)修改hadoop-1.2.1/conf文件中的slave
hadoop.slave1
hadoop.slave2
(4)修改hadoop-1.2.1/conf文件的core-site.xml
< property>
<name>fs.default.name</name>
<value>hdfs://hadoop.main:9000</value>
</property>
(5)修改hadoop-1.2.1/conf文件的hdfs-site.xml
<property>
<name>dfs.replication </name>
<value>2</value>
</property>
注意：由于slave并没有超过3个，所以不能为3
(6)修改hadoop-1.2.1/conf文件的mapred-site.xml
<property>
<name>mapred.job.tracker </name>
<value>hadoop.main :9001</value>
</property>
(从节点只执行) 8-9
8.配置静态IP：
vim /etc/network/interfaces :进入interfaces中，增加如下脚本
autoeth0
ifaceeth0 inet static
address192.168.0.147
netmask255.255.255.0
gateway192.168.0.146
然后 /etc/init.d/networking restart 使得静态ip地址生效，如果未生效的话，重启Ubuntu
9.修改slave1节点hadoop文件配置
(1)在hadoop_1.2.1/conf目录下修改hosts和hostname
hosts文件：
192.168.0.146 hadoop.main
192.168.0.147 hadoop.slave1（本机的ip）
hostname文件：
hadoop.slave1
(3) 实现ssh的无密码登陆（保证main节点可以直接登陆slave1节点）
此处需要利用u盘拷贝，故涉及U盘的挂载和卸载（U盘挂载后Ubuntu才能读取其中文件）
U盘挂载：mount /dev/sdb1 /mnt 将sdb1挂载到mnt文件夹下
注意U盘在/dev目录下。进入/dev文件后，ls sd* ,其中的sdb表示的U盘，注意区别sda，它表示本地盘。
U盘卸载：umount /mnt 注意卸载时需退出mnt目录，否则无法卸载
1)进入main节点的 .ssh文件
cd ~/.ssh
cp id_rsa.pub /mnt (涉及main节点U盘的挂载和卸载)
2)拷贝id_rsa.pub文件到slave1
cp /mnt/id_rsa.pub ~/.ssh (涉及slave1节点U盘的挂载和卸载)
3)进入slave1的.ssh目录
cat id_rsa.pub >> authorized_keys
注意此处可能要删除slave1节点 .ssh文件中一些文件
slave2的搭建和slave1的搭建相同，注意它的IP地址配置，hadoop文件配置
此时hadoop集群搭建成功
每次hadoop启动时都需在主节点进行以下操作
注意：格式化和启动Hadoop是在hadoop的目录下
1格式化hadoop的文件系统
bin/hadoop namenode -format
2启动hadoop
bin/start-all.sh
结束hadoop
bin/stop-all.sh
单词统计程序的运行
进入hadoop的安装目录
bin/hadoop fs -mkdir input
bin/hadoop fs -copyFromLocal /home/ubuntu/hadoop-1.2.1/README.txt input/
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output
查看结果
bin/hadoop fs -ls output
bin/hadoop dfs -cat output /part-r-00000
或者在浏览器界面中输入http://hadoop.mian:50070中点击查看
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Hadoop HBase 单机环境简单配置教程
- Hadoop 配置
- hadoop/hbase 文件配置
- Hadoop分布式集群配置总结
- hadoop 配置安装（分布式）
- Hadoop中的集群配置和使用技巧
- Hadoop HBase 单机环境简单配置教程
- Hadoop配置注意事项
- Hadoop 平台配置过程小记
- Hadoop中的集群配置和使用技巧——分布式计算开源框架Hadoop入门实践（二）
- Windows下基于Eclipse的Hadoop开发环境完全配置（一）
- Hadoop0.1.0 关于NameNode如何保证每一个Block的Replicas为配置文件指定的个数问题
- Hadoop Hdfs 配置 挂载hdfs文件系统（二）
- Windows下基于Eclipse的Hadoop开发环境完全配置（二）
- Hadoop安装配置
- Hadoop 带DNS安装配置完整流程（持续完善中）
- Hadoop集群配置
- hadoop安装配置
- Hadoop之安装配置
- 【云计算】Hadoop 0.20.1 + Hive 0.4.1 + Fedora 12 终极配置