在Ubuntu linux系统中安装Hadoop系统(一):单结点
2011-04-27 21:10
591 查看
在前面的那篇文章中我已经介绍了安装在Ubuntu
系统中JDK,Hadoop。
下面我来进行配置Hadoop 系统。
1.首先在hadoop的conf文件夹下面找到core-site.xml文件:
添加如下配置至configuration标签之间:
<property>
<name> fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name> dfs.replication</name>
<value>1</value>
</property>
<property>
<name> hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
2.然后在 mapred-site.xml的configuration中输入:
<property>
<name> mapred.job.tracker</name>
<value> localhost:9001</value>
</property>
3.格式化namenode
bin/hadoop namenode -format
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/b25e52db76d7927704dbd30e1d40aa58.gif)
4.启动hadoop
bin/start-all.sh
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/5a964011931b80d0c3938f427c302df6.gif)
5.检测是否运行正常
使用jps
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/50b84483fc6dcc7448c69eb9ece5ab5f.gif)
也可以使用
bin/hadoop dfsadmin -report
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/e41b82e55f572e2eca0f3dedcd44539a.gif)
6.访问文件系统
6.1 bin/hadoop dfs -mkdir test-in
创建hadoop文件系统test-in目录
6.2 bin/hadoop dfs -copyFromLocal /tmp/test*.txt test-in
解释一下,就是从本地文件/tmp/目录下,以test开发的文本文件拷贝到hadoop文件系统test-in目录下
6.3 显示该目录下的文件列表
bin/hadoop dfs -ls test-in
6.4查看文件内容
bin/hadoop dfs -cat test-in/test_file1.txt
7.跑一个单词统计的例子。
1. bin/hadoop jar hadoop-0.20.1-examples.jar wordcount test-in test-out
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/9d5a5e573b2fc948bcd28c5e264a7e65.gif)
2.查看运行结果:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/98d88f2432b10f37111b802d519d6db3.gif)
这些内容也就是文件系统目录test-in中文件内容
系统中JDK,Hadoop。
下面我来进行配置Hadoop 系统。
1.首先在hadoop的conf文件夹下面找到core-site.xml文件:
添加如下配置至configuration标签之间:
<property>
<name> fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name> dfs.replication</name>
<value>1</value>
</property>
<property>
<name> hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
2.然后在 mapred-site.xml的configuration中输入:
<property>
<name> mapred.job.tracker</name>
<value> localhost:9001</value>
</property>
3.格式化namenode
bin/hadoop namenode -format
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/b25e52db76d7927704dbd30e1d40aa58.gif)
4.启动hadoop
bin/start-all.sh
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/5a964011931b80d0c3938f427c302df6.gif)
5.检测是否运行正常
使用jps
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/50b84483fc6dcc7448c69eb9ece5ab5f.gif)
也可以使用
bin/hadoop dfsadmin -report
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/e41b82e55f572e2eca0f3dedcd44539a.gif)
6.访问文件系统
6.1 bin/hadoop dfs -mkdir test-in
创建hadoop文件系统test-in目录
6.2 bin/hadoop dfs -copyFromLocal /tmp/test*.txt test-in
解释一下,就是从本地文件/tmp/目录下,以test开发的文本文件拷贝到hadoop文件系统test-in目录下
6.3 显示该目录下的文件列表
bin/hadoop dfs -ls test-in
6.4查看文件内容
bin/hadoop dfs -cat test-in/test_file1.txt
7.跑一个单词统计的例子。
1. bin/hadoop jar hadoop-0.20.1-examples.jar wordcount test-in test-out
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/9d5a5e573b2fc948bcd28c5e264a7e65.gif)
2.查看运行结果:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/98d88f2432b10f37111b802d519d6db3.gif)
这些内容也就是文件系统目录test-in中文件内容
![](https://oscdn.geek-share.com/Uploads/Images/Content/201909/26/3c101b5706752cf7653cb497f9233b1e.gif)
相关文章推荐
- 在Linux系统中配置Hadoop环境(1)---在虚拟机上安装Linux Ubuntu系统
- Ubuntu系统下的Hadoop集群(6)_Hadoop安装配置简略教程
- Ubuntu linux系统中 C++编译器安装
- Linux系统:ubuntu下安装应用程序方法,如qq,字典,cairo_Dock
- Linux(Ubuntu系统)下安装Aqua-sim
- 将Ubuntu等linux系统安装到移动硬盘--操作系统随身携带
- Linux开发环境搭建与使用——Linux系统( ubuntu )安装方案
- 安装Linux系统的心得(win7+ubuntu16.04)
- 怎样把Ubuntu Linux系统安装到u盘
- Ubuntu通过ssh远程登录linux系统,详细安装方法
- Linux 系统(ubuntu和CentOS)nginx服务器和php安装
- 使用U盘安装Ubuntu等Linux系统的方法
- 解决虚拟机ubuntu系统安装VM TOOLS问题(其它LINUX系统也差不多)
- ubuntu chmod 无法更改 文件夹权限 系统提示“不允许的操作 2、linux 如何修改只读文件 3、ubuntu安装
- Ubuntu Linux系统用命令安装MySQL数据库
- Windows7 64 位系统安装Oracle VM VirtualBox 后没有Ubuntu/Linux 64-bit选项
- VirtualBox虚拟机安装64位Linux系统(Ubuntu)
- linux 系统中Mysql在线安装(Ubuntu)
- Hadoop单机模式安装入门(Ubuntu系统)
- 在Ubuntu(Linux)系统中安装一些软件以及工具