Hadoop2.6.0伪分布环境搭建

用到的软件：



一、安装jdk：

1、要安装的jdk，我把它拷在了共享文件夹里面。

（用优盘拷也可以）



2、我把jdk拷在了用户文件夹下面。

（其他地方也可以，不过路径要相应改变）



3、执行复制安装解压命令：



解压完毕：



查看解压的文件夹：



4、配置 环境变量：



写入如下5行代码：



使配置生效：



5、查看安装的jdk：

java -version



java



javac



二、SSH免密码登陆：

1、安装SSH：



2、是否生成 .ssh
目录：



3、如果没有生成，自己手动创建一个 .ssh 目录：



生成的 .ssh 目录：



4、生成公钥与私钥：



效果如下：



5、将公钥加入到用于认证的公钥文件中：



6、免密码登陆：



效果：



Ubuntu 免密码登陆，SSH配置完。

三、安装配置Hadoop：

1、复制安装解压Hadoop
：



解压完毕效果：



2、配置 etc/profile







3、配置 hadoop-env.sh

进入







4、修改hadoop-2.6.0文件权限为用户权限：



默认没有mapred-site.xml文件，复制mapred-site.xml.template一份，并把名字改为mapred-site.xml



5、配置下面4个重要文件：

mapred-site.xml





core-site.xml





hdfs-site.xml





yarn-site.xml





6、格式化：



格式化部分效果：



7、启动：

先启动 start-dfs.sh：



效果：



再启动 start-yarn.sh：



效果：



关闭hadoop：



（注：也可以 sbin/start-all.sh： 建议分开启动。）效果一样，如下：



8、查看Web页面信息：





至此，hadoop-2.6.0伪分布配置成功。

附录：文字版

一. ubuntu下JDK的安装：

见Ubuntu中安装配置jdk。

二. ubuntu下安装ssh:

1. $ sudo apt-get install openssh-server （用此方法安装不成功，参考在Ubuntu中配置SSH）

2. 启动ssh：/etc/init.d/ssh start

3. $ ps -e | grep ssh 来验证是否启动sshserver

4. 免密码化

$ ssh-keygen -t rsa //生成密钥对

一直按Enter键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。

$cd .ssh //进入.ssh目录

$cp id_rsa.pub authorized_keys

$ssh localhost

三. ubuntu下安装hadoop：

1. 下载hadoop-0.20.2.tar.gz，放在/opt下解压

2. 修改hadoop配置文件

conf/hadoop-env.sh 修改JAVA_HOME选项：

export JAVA_HOME=/usr/java/jdk1.6.0_24，一定记得去除前面的#

3. 伪分布式单机配置

conf/core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>

<!-- Put
site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

conf/hdfs-site.xml:

<?xml version="1.0"?>

<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>

<!-- Put
site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.name.dir</name> //为了保证每次重启不用格式化

<value>/opt/hadoop-0.20.2/rq</value> //namenode，此处设置非常重要

</property>

<property>

<name>dfs.data.dir</name>

<value>/opt/hadoop-0.20.2/rq/data</value>

</property>

</configuration>

conf/mapred-site.xml:

<?xml version="1.0"?>

<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>

<!-- Put
site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

5. 创建hdfs文件系统

$ bin/hadoop namenode -format

6. 启动hadoop

需要先启动ssh: $ /etc/init.d/ssh start

$ bin/start-all.sh

7. 在hadoop下创建test目录，然后建立file1.txt file2.txt 写入几个单词；将hadoop/test下的测试文件上传到hadoop文件系统中

$ bin/hadoop dfs -put ./test input

8. 运行wordCount例子

$ bin/hadoop jar hadoop-0.20.2-examples.jar
wordcount input output

9. 把结果从dfs上拷贝下来

$ bin/hadoop dfs -get output output

10. 查看结果

$ cat output/* 也可以直接查看 $
bin/hadoop dfs -cat output/*

11. 停止hadoop运行

$ bin/stop-all.sh

12. 关闭ssh-server

$ /etc/init.d/ssh stop