王家林 第六讲Hadoop图文训练课程:使用HDFS命令行工具操作Hadoop分布式集群初体验
2013-12-21 18:21
603 查看
这一讲主要使用HDFS命令行工具操作Hadoop分布式集群初体验:
Step 1:使用HSFS命令向Hadoop分布式集群存放一个大文件;
Step 2:删除文件并用两份副本在HDFS上存放数据;
使用HDFS命令行工具操作Hadoop分布式集群初体验PDF版本教程请猛击这里
王家林的“云计算分布式大数据Hadoop实战高手之路”之完整目录
王家林把自己几年来在Hadoop上的研究和实践总结出来,并通过动手实践的方式不断深入云就算实战技术,让人人皆可学习,并从中受益。
此教程来自于王家林多年的云计算实战研究和实践心得,全部免费教材为:云计算分布式大数据Hadoop实战高手之路(共3本书):
1,王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作,进入云计算大数据的美好世界。
2, 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。
3, 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅,从此一览众山小。
这些教程会按照实践的推移每天逐步发布,大家要多多支持喔!
更多Hadoop交流可以联系家林:
新浪微博:http://weibo.com/ilovepains
QQ:1740415547
Hadoop讨论QQ群:312494188
Weixin:wangjialinandroid
官方博客:http://www.cnblogs.com/guoshiandroid/
我们曾下载过Eclipse这个IDE,如下所示:
此时可以看出这个文件的大小是139.4M,这个大小超过了Hadoop默认文件块的大小64M,因此这个文件讲会被分块存储。
下面我们使用命令行工具,在hadoop.main这台机器上把这个文件存入整个分布式文件系统:
通过上述命令就把Eclipse传递到了hdfs文件系统的根目录下,此时我们通过Web控制台查看一下文件系统:
可以看到文件成功从Ubuntu本地发布到了Hadoop分步式文件系统上!
点击文件我们可以看到该文件分块的信息:
在分块信息下面有具体的分块数据:
可以看到数据被分成了三个块,但是大家同时会注意到这个快在同一台主机上, 按照前面的配置,这些数据应该是分布在 不同的主机节点上的,为何会出现现在的情况呢?其实,这不是一个问题,因为我们的节点比较少,Hadoop是根据自己的算法调整把这个文件存放在了一个节点上。
Step 2:删除文件并用两份副本在HDFS上存放数据;
当我们现在有两个DataNode的情况下,可以把replication配置伪2
进入文件:
停止Hadoop集群并重新启动:
接下来我们再次把文件从本地上传给HDFS:
上传成功,打开Web控制台:
可以看到文件上传成功,此时我们点击该文件:
在这个页面的下面我们看到了数据存放的信息:
可以看出每份数据都有两个副本,分别存放在hadoop.main和hadoop.slave这两天机器上。
对HDFS操作的初体验到此结束。
原文地址:点击打开链接
Step 1:使用HSFS命令向Hadoop分布式集群存放一个大文件;
Step 2:删除文件并用两份副本在HDFS上存放数据;
使用HDFS命令行工具操作Hadoop分布式集群初体验PDF版本教程请猛击这里
王家林的“云计算分布式大数据Hadoop实战高手之路”之完整目录
王家林把自己几年来在Hadoop上的研究和实践总结出来,并通过动手实践的方式不断深入云就算实战技术,让人人皆可学习,并从中受益。
此教程来自于王家林多年的云计算实战研究和实践心得,全部免费教材为:云计算分布式大数据Hadoop实战高手之路(共3本书):
1,王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作,进入云计算大数据的美好世界。
2, 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。
3, 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅,从此一览众山小。
这些教程会按照实践的推移每天逐步发布,大家要多多支持喔!
更多Hadoop交流可以联系家林:
新浪微博:http://weibo.com/ilovepains
QQ:1740415547
Hadoop讨论QQ群:312494188
Weixin:wangjialinandroid
官方博客:http://www.cnblogs.com/guoshiandroid/
现在开始动手做!
Step 1:使用HSFS命令向Hadoop分布式集群存放一个大文件;我们曾下载过Eclipse这个IDE,如下所示:
此时可以看出这个文件的大小是139.4M,这个大小超过了Hadoop默认文件块的大小64M,因此这个文件讲会被分块存储。
下面我们使用命令行工具,在hadoop.main这台机器上把这个文件存入整个分布式文件系统:
通过上述命令就把Eclipse传递到了hdfs文件系统的根目录下,此时我们通过Web控制台查看一下文件系统:
可以看到文件成功从Ubuntu本地发布到了Hadoop分步式文件系统上!
点击文件我们可以看到该文件分块的信息:
在分块信息下面有具体的分块数据:
可以看到数据被分成了三个块,但是大家同时会注意到这个快在同一台主机上, 按照前面的配置,这些数据应该是分布在 不同的主机节点上的,为何会出现现在的情况呢?其实,这不是一个问题,因为我们的节点比较少,Hadoop是根据自己的算法调整把这个文件存放在了一个节点上。
Step 2:删除文件并用两份副本在HDFS上存放数据;
当我们现在有两个DataNode的情况下,可以把replication配置伪2
进入文件:
修改后:
保存退出:停止Hadoop集群并重新启动:
接下来把刚刚上传到HDFS的Eclipse删除掉:
此时HDFS中的Eclipse就被删除掉了:接下来我们再次把文件从本地上传给HDFS:
上传成功,打开Web控制台:
可以看到文件上传成功,此时我们点击该文件:
在这个页面的下面我们看到了数据存放的信息:
可以看出每份数据都有两个副本,分别存放在hadoop.main和hadoop.slave这两天机器上。
对HDFS操作的初体验到此结束。
原文地址:点击打开链接
相关文章推荐
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题
- 王家林 第四讲Hadoop图文训练课程:实战构建真正的Hadoop分布式集群环境
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题
- 王家林 第四讲Hadoop图文训练课程:实战构建真正的Hadoop分布式集群环境
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题
- 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程
- 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第三门课程:云计算分布式大数据Hadoop征服之旅:HDFS&MapReduce&HBase&Hive&集群管理
- 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第三门课程:云计算分布式大数据Hadoop征服之旅:HDFS&MapReduce&HBase&Hive&集群管理
- 王家林“云计算分布式大数据Hadoop实战高手之路---从零开始”的第一讲Hadoop图文训练课程:10分钟理解云计算分布式大数据处理框架Hadoop
- 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程
- hadoop学习第二天-了解HDFS的基本概念&&分布式集群的搭建&&HDFS基本命令的使用
- 云计算分布式大数据Hadoop实战高手之路第八讲Hadoop图文训练课程:Hadoop文件系统的操作实战
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十讲Hadoop图文训练课程:剖析Hadoop的重要配置文件
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文训练课程:MapReduce的原理机制和流程图剖析
- 王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之Hadoop企业级完整训练:Rocky的16堂课(HDFS&MapReduce&HBase&Hive&Zookee
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程
- 王家林“云计算分布式大数据Hadoop实战高手之路---从零开始”的第一讲Hadoop图文训练课程:10分钟理解云计算分布式大数据处理框架Hadoop
- 王家林的第三讲Hadoop图文训练课程:证明Hadoop工作的正确性和可靠性只需4步图文并茂的过程