您的位置：首页 > 运维架构

hadoop伪分布式搭建

2014-02-28 20:02 176 查看

Hadoop的伪分布式搭建

一、关闭防火墙

service iptables off           --关闭防火墙

service iptables statuts        - -查看防火墙

chkconfig iptables off         --关闭防火墙自动运

chkconfig –list | grep iptables   --验证防火墙

二、设置SSH免密码登陆

所谓无密码登陆其实是指通过证书认证的方式登陆，使用一种被称为"公私钥"认证的方式来进行ssh登录。在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。

"
公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥（公钥文件：~/.ssh/id_rsa.pub；私钥文件：~/.ssh/id_rsa）。然后把公钥放到服务器上（~/.ssh/authorized_keys）,
自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了。

vi etc/sysconfig/network       --设置主机名 hostname=**

ssh-keygen –t rsa                    --生成生成密钥文件

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys cp秘钥文件

三、安装JDK

JDK和HADOOP在 /usr/local/这个目录
jdk-6u24-linux-i586.bin hadoop-1.1.2.tar.gz

       ./ jdk-6u24-linux-i586.bin            --解压JDK

    chmod u+x jdk-6u24-linux-i586.bin    –给JDK权限操作

mv jdk1.6.0_24 jdk jdk              --文件夹重新命名

vi etc//profile                       --打开文件配置如下信息

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

source /etc/profile                   --生效

java –version                       --验证配置是否成功

四、安装HADOOP

tar –zxvf hadoop-1.1.2.tar.gz

mv hadoop-1.1.2 hadoop

vi etc/profile

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH


修改usr/local/hadoop/conf

hadoop0改为hostname的名字

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml

<configuration>

     <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoop0:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property>

</configuration>

3.hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

4.mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value>

    </property>

</configuration>

五、启动HADOOP

hadoop namenode –format

--格式化会出现一个警告Warning: $HADOOP_HOME is deprecated.

处理办法:

在当前用户home/.bash_profile里增加一个环境变量：

export HADOOP_HOME_WARN_SUPPRESS=1

source /.bash_profile    --生效

start-all.sh             --启动

六、测试

执行命令jps
如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracke

在浏览器查看，http://hostname:50070 http://hostname:50030

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航