hadoop集群安装教程

Hadoop介绍：

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

安装三台虚拟设备

在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。

网络ip设置

首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。让三台虚拟机置于当前网段下。这样就能进行通信了。具体操作可以在网上搜索，这里就不在叙述了。

安装jdk并设置 路径

首先将自己下载的包放在

/usr/local/src/

这样方便操作，然后解压jdk，

tar zxf jdk-6u45-linux-x64.bin

这时的jdk还不能使用，要使用必须在指定目录下使用，这里提供一种解决方案，当然其他的方式也有。感兴趣的可以在网上搜索。

vim ~/.bashrc //编辑此文件

在他的后面添加以下文件内容

export JAVA_HOME=/usr/local/src/jdk1.6.0_45
//这是jdk解压包的所在位置
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

然后让更改过后的~/.bashrc文件生效，

source ~/.bashrc

当然三台虚拟机的jdk必须都安装成功。且都是上述同一种方式。

4.安装hadoop集群

首先将hadoop安装包解压，将他放在

/usr/local/src/

此目录下，与jdk的目录一致。以便于更好的管理。

进入该目录下

cd /usr/local/src/hadoop-1.2.1

mkdir tmp //存放临时文件由这个目录管理

cd conf/ //此文件目录地下进行修改配置文件。

vim masters //更改为当前主机名

master

vim slaves //修改从节点

slave1

slave2

vim core-site.xml //修改此文件

hadoop.tmp.dir

/usr/local/src/hadoop-1.2.1/tmp

1 //指定临时目录的地址

fs.default.name

hdfs://192.168.184.10:9000

//配置NameNode的uri(统一定位符)

vim mapred-site.xml

修改该文件

mapred.job.tracker //指定job.tracker的工作端口

http://192.168.184.10:9001

vim hdfs-site.xml

dfs.replication //数据在hdfs里面的副本数，一般是三个

3

vim hadoop-env.sh //配置该启动文件

export JAVA_HOME=/usr/local/src/jdk1.6.0_45

将java存放地址设置在该文件中。

vim /etc/hosts

192.168.184.10 master //配置主节点ip

192.168.184.11 slave1 //配置从节点ip

192.168.184.12 slave2 //配置从节点ip

配置此文件之后访问其他主机可以使用主机名访问

NETWORKING=yes

HOSTNAME=master ///改动此文件

NTPSERVERARGS=iburst

使其生效

hostname master //临时生效

scp -rp hadoop-1.2.1 192.168.184.11:/usr/local/src

将hadoop解压过后的文件拷贝到另外两个节点上。

在两个从节点上，

修改 cd /etc/hosts 将主节点上的复制到这里

vim /etc/sysconfig/network 修改该文件hostname=从节点名称

hostname slave1 可以让节点临时名生效

关闭主从节点的防火墙

/etc/init.d/iptables stop

可能会影响网络传输。

关闭

setenforce 0

ssh-keygen 生成密钥 直接回车

每台主机的密钥都要生成

cd ~/.ssh/

进入此文件

将每台主机的三个公钥都复制到

authorized_keys //包含三台机器的公钥

再进入cd /usr/local/src/hadoop-1.2.1/bin 目录底下

格式化hadoop

./hadoop namenode -formate //格式化

./start-all.sh 启动hadoop集群

jps 查看当前状态

简单使用hadoop

./hadoop fs -ls / //查看当前环境

./hadoop fs -put /etc/passwd / //简单上传passwd文件

./hadoop fs -ls /

./hadoop fs -cat /passwd

查看内容

至此，hadoop有没有get到，哈哈哈