您的位置:首页 > 运维架构 > Linux

在Ubuntu linux系统中安装Hadoop系统(一):单结点

2011-04-27 21:10 591 查看
在前面的那篇文章中我已经介绍了安装在Ubuntu
系统中JDK,Hadoop。

下面我来进行配置Hadoop 系统。

1.首先在hadoop的conf文件夹下面找到core-site.xml文件:

添加如下配置至configuration标签之间:

<property>

<name> fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name> dfs.replication</name>

<value>1</value>

</property>

<property>

<name> hadoop.tmp.dir</name>

<value>/root/hadoop/tmp</value>

</property>

2.然后在 mapred-site.xml的configuration中输入:

<property>

<name> mapred.job.tracker</name>

<value> localhost:9001</value>

</property>

3.格式化namenode

bin/hadoop namenode -format



4.启动hadoop

bin/start-all.sh



5.检测是否运行正常

使用jps



也可以使用

bin/hadoop dfsadmin -report



6.访问文件系统

6.1 bin/hadoop dfs -mkdir test-in

创建hadoop文件系统test-in目录

6.2 bin/hadoop dfs -copyFromLocal /tmp/test*.txt test-in

解释一下,就是从本地文件/tmp/目录下,以test开发的文本文件拷贝到hadoop文件系统test-in目录下

6.3 显示该目录下的文件列表

bin/hadoop dfs -ls test-in

6.4查看文件内容

bin/hadoop dfs -cat test-in/test_file1.txt

7.跑一个单词统计的例子。

1. bin/hadoop jar hadoop-0.20.1-examples.jar wordcount test-in test-out



2.查看运行结果:



这些内容也就是文件系统目录test-in中文件内容

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: