您的位置：首页 > 运维架构

hadoop2.0为分布式搭建

2014-05-05 18:18 183 查看
本文转载自http://www.iteblog.com/archives/790

　首先，你得在电脑上面安装好jdk7，如何安装，这里就不说了，网上一大堆教程！然后安装好ssh，如何安装请参见本博客《Linux平台下安装SSH》、并设置好无密码登录（《Ubuntu和CentOS如何配置SSH使得无密码登陆》）。好了，上面的前提条件部署好之后，下面将进入Hadoop2.2.0的部署。

运行下面命令，将最新版的hadoop下载下来：

1
[wyp
@wyp

hadoop]$ wget \
2
3
http:
//mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
　　当然，你也可以用下载的软件到上面的地址去下载。上面的命令是一行，由于此处太长了， 所以强制弄成两行。假设下载好的hadoop存放在/home/wyp/Downloads/hadoop目录中，由于下载下来的hadoop是压缩好的，请将它解压，运行下面的命令：

1
[wyp
@wyp

hadoop]$ tar -xvf hadoop-
2.2
.
0
.tar.gz
解压之后，你将会看到如下目录结构：

01
[wyp
@wyp

hadoop]$ ls -l
02
total
56
03
drwxr-xr-x.
2

wyp wyp
4096

Oct
7

14
:
38

bin
04
drwxr-xr-x.
3

wyp wyp
4096

Oct
7

14
:
38

etc
05
drwxr-xr-x.
2

wyp wyp
4096

Oct
7

14
:
38

include
06
drwxr-xr-x.
3

wyp wyp
4096

Oct
7

14
:
38

lib
07
drwxr-xr-x.
2

wyp wyp
4096

Oct
7

14
:
38

libexec
08
-rw-r--r--.
1

wyp wyp
15164

Oct
7

14
:
46

LICENSE.txt
09
drwxrwxr-x.
3

wyp wyp
4096

Oct
28

14
:
38

logs
10
-rw-r--r--.
1

wyp wyp 
101

Oct
7

14
:
46

NOTICE.txt
11
-rw-r--r--.
1

wyp wyp
1366

Oct
7

14
:
46

README.txt
12
drwxr-xr-x.
2

wyp wyp
4096

Oct
28

12
:
37

sbin
13
drwxr-xr-x.
4

wyp wyp
4096

Oct
7

14
:
38

share
下面是配置Hadoop的步骤：首先设置好Hadoop环境变量：

01
[wyp
@wyp

hadoop]$ sudo vim /etc/profile
02
03
在/etc/profile文件的末尾加上以下配置
04
05
export
HADOOP_DEV_HOME=/home/wyp/Downloads/hadoop
06
export
PATH=$PATH:$HADOOP_DEV_HOME/bin
07
export
PATH=$PATH:$HADOOP_DEV_HOME/sbin
08
export
HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
09
export
HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
10
export
HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
11
export
YARN_HOME=${HADOOP_DEV_HOME}
12
export
HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
然后按:wq保存。为了让刚刚的设置生效，运行下面的命令

1
[wyp
@wyp

hadoop]$ sudo source /etc/profile
接下来修改Hadoop的hadoop-env.sh配置文件，设置jdk所在的路径：

1
[wyp
@wyp

hadoop]$ vim etc/hadoop/hadoop-env.sh
2
3
在里面找到JAVA_HOME，并将它的值设置为你电脑jdk所在的绝对路径
4
5
#
The java implementation to use.
6
export
JAVA_HOME=/home/wyp/Downloads/jdk1.
7
.0_45
设置好之后请保存退出。接下来请配置好一下几个文件（都在hadoop目录下的etc/hadoop目录下）：

01
----------------core-site.xml
02
<property>
03
<name>fs.
default
.name</name>
04
<value>hdfs:
//localhost:8020</value>
05
<
final
>
true
</
final
>
06
</property>
07
08
-------------------------
yarn-site.xml
09
<property>
10
<name>yarn.nodemanager.aux-services</name>
11
<value>mapreduce_shuffle</value>
12
</property>
13
14
<property>
15
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.
class
</name>
16
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
17
</property>
18
19
------------------------
mapred-site.xml
20
<property>
21
<name>mapreduce.framework.name</name>
22
<value>yarn</value>
23
</property>
24
25
<property>
26
<name>mapred.system.dir</name>
27
<value>file:/opt/cloud/hadoop_space/mapred/system</value>
28
<
final
>
true
</
final
>
29
</property>
30
31
<property>
32
<name>mapred.local.dir</name>
33
<value>file:/opt/cloud/hadoop_space/mapred/local</value>
34
<
final
>
true
</
final
>
35
</property>
36
37
-----------
hdfs-site.xml
38
<property>
39
<name>dfs.namenode.name.dir</name>
40
<value>file:/opt/cloud/hadoop_space/dfs/name</value>
41
<
final
>
true
</
final
>
42
</property>
43
44
<property>
45
<name>dfs.datanode.data.dir</name>
46
<value>file:/opt/cloud/hadoop_space/dfs/data</value>
47
<description>Determines
where on the local
48
  
filesystem
an DFS data node should store its blocks.
49
  
If
this

is a comma-delimited list of directories,
50
  
then
data will be stored in all named
51
  
directories,
typically on different devices.
52
  
Directories
that
do

not exist are ignored.
53
</description>
54
<
final
>
true
</
final
>
55
</property>
56
<property>
57
<name>dfs.replication</name>
58
<value>
1
</value>
59
</property>
60
61
<property>
62
<name>dfs.permissions</name>
63
<value>
false
</value>
64
</property>
上面的配置弄好之后，现在来进行测试，看看配置是否正确。首先格式化一下HDFS,如下命令：

01
[wyp
@wyp

hadoop]$  hdfs namenode -format
02
13
/
10
/
28

16
:
47
:
33

INFO namenode.NameNode: STARTUP_MSG:
03
/************************************************************
04
05
..............此处省略好多文字......................
06
07
************************************************************/
08
13
/
10
/
28

16
:
47
:
33

INFO namenode.NameNode: registered UNIX signal
09
handlers
for

[TERM, HUP, INT]
10
Formatting
using clusterid: CID-9931f367-92d3-
4693
-a706-d83e120cacd6
11
13
/
10
/
28

16
:
47
:
34

INFO namenode.HostFileManager: read includes:
12
HostSet(
13
)
14
13
/
10
/
28

16
:
47
:
34

INFO namenode.HostFileManager: read excludes:
15
HostSet(
16
)
17
18
..............此处也省略好多文字......................
19
20
13
/
10
/
28

16
:
47
:
38

INFO util.ExitUtil: Exiting with status
0
21
13
/
10
/
28

16
:
47
:
38

INFO namenode.NameNode: SHUTDOWN_MSG:
22
/************************************************************
23
SHUTDOWN_MSG:
Shutting down NameNode at wyp/192.168.142.138
24
************************************************************/
25
[wyp
@wyp

hadoop]$
大概出现上面的输出，好了，去启动一下你的Hadoop吧，命令如下：

1
[wyp
@wyp

hadoop]$sbin/start-dfs.sh
2
[wyp
@wyp

hadoop]$sbin/start-yarn.sh
查看一下是否安装好了Hadoop，命令如下：

01
[wyp
@wyp

hadoop]$jps
02
9582

Main
03
9684

RemoteMavenServer
04
7011

DataNode
05
7412

ResourceManager
06
17423

Jps
07
7528

NodeManager
08
7222

SecondaryNameNode
09
6832

NameNode
10
[wyp
@wyp

hadoop]$
　　其中的jps是jdk自带的，如果出现NameNode、SecondaryNameNode、NodeManager、ResourceManager、DataNode这五个进程,那就恭喜你了，你的Hadoop已经安装好了！

　　这里附上如何关闭Hadoop各个服务

1
[wyp
@wyp

hadoop]$sbin/stop-dfs.sh
2
[wyp
@wyp

hadoop]$sbin/stop-yarn.sh
本博客文章除特别声明，全部都是原创！

尊重原创，转载请注明： 转载自过往记忆（http://www.iteblog.com/）

本文链接地址: 《在Fedora上部署Hadoop2.2.0伪分布式平台》（http://www.iteblog.com/archives/790）
                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航