弹性云存计算平台CloudXY新人学习汇报
2011-12-26 10:20
309 查看
在cloudxy邮件列表中,有一位新成员bin
yin发来如下邮件:
诸位,我很幸运的发现了CloudXY,对它简单了解后突然激动起来,感觉昏暗混沌的生活猛的被一缕阳光刺中,我预感到一个新纪元将要来临。
于是告诉自己应该去为之做些什么,去追求开源带来的快乐,到技术的前沿摘取硕果,提高自己的同时奉献社区。
于是12月14日我联系康哥,请求参与到CloudXY中,并订阅了邮件。云技术对我来说属于阳春白雪,于是康哥让我先了解hadoop,学习过程中也得到了康哥和贾威威的热心帮助,非常感谢。
这一段时间内,通过邮件,我看到了大家用自己的激情为CloudXY注入生命,感受到了开源项目的活力,改变了自己的一些偏见,我发现自己遇到了一个充满激情的团队。
CloudXY的开发意义非凡,目标明确,技术路线清晰。我愿加倍努力,深入学习,争取早日加入大家的开发行列,为开源世界贡献自己微薄的力量。
--------------------------------------------------------------------------------------------------------------
最近学习hadoop做了以下工作:
(1)查阅hadoop相关资料,对hadoop管理数据的基本原理、优势、与关系数据库的区别等基础有所了解。知道了hdfs,mapReduce,Hive,ZooKeeper的作用。
(2)在VM的ubuntu下安装配置了hadoop,解决了报错的各种问题,最终能运行简单的hadoop命令(ls,
rm, mkdir等) 但是,运行copyFromLocal命令时,依然会报出那个经典的错“could only be replicated to 0 nodes, instead of 1”,所谓经典,就是网上一搜一大堆解决方法,但都没能解决问题。 搜索,尝试了以下多种方法,但都未能解决该问题:
(1)解决办法是分别启动节点 $hadoop-daemon.sh start namenode
$hadoop-daemon.sh start
datanode
(2)这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker。这样就不会存在这个问题了
(3)关防火墙
(4)关闭datanode安全模式: hadoop dfsadmin -safemode leave
(5)datanode硬盘空间不够用 #df -hl
(6)删除/tmp/dfs/data/中的所有内容,重启
(7)这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker
(8)格式化,启动
---------------------------------------------------------------------------------------------------------------
接下来我会继续学习hadoop,计划先学习它的使用,再学习基于hadoop的程序开发。我目前在VM的ubuntu下安装hadoop,感觉分布式开发环境这样搭建可能会有问题,大家有好的开发学习方法请告之。还有上面的那个错误,希望能不吝赐教。
yin发来如下邮件:
诸位,我很幸运的发现了CloudXY,对它简单了解后突然激动起来,感觉昏暗混沌的生活猛的被一缕阳光刺中,我预感到一个新纪元将要来临。
于是告诉自己应该去为之做些什么,去追求开源带来的快乐,到技术的前沿摘取硕果,提高自己的同时奉献社区。
于是12月14日我联系康哥,请求参与到CloudXY中,并订阅了邮件。云技术对我来说属于阳春白雪,于是康哥让我先了解hadoop,学习过程中也得到了康哥和贾威威的热心帮助,非常感谢。
这一段时间内,通过邮件,我看到了大家用自己的激情为CloudXY注入生命,感受到了开源项目的活力,改变了自己的一些偏见,我发现自己遇到了一个充满激情的团队。
CloudXY的开发意义非凡,目标明确,技术路线清晰。我愿加倍努力,深入学习,争取早日加入大家的开发行列,为开源世界贡献自己微薄的力量。
--------------------------------------------------------------------------------------------------------------
最近学习hadoop做了以下工作:
(1)查阅hadoop相关资料,对hadoop管理数据的基本原理、优势、与关系数据库的区别等基础有所了解。知道了hdfs,mapReduce,Hive,ZooKeeper的作用。
(2)在VM的ubuntu下安装配置了hadoop,解决了报错的各种问题,最终能运行简单的hadoop命令(ls,
rm, mkdir等) 但是,运行copyFromLocal命令时,依然会报出那个经典的错“could only be replicated to 0 nodes, instead of 1”,所谓经典,就是网上一搜一大堆解决方法,但都没能解决问题。 搜索,尝试了以下多种方法,但都未能解决该问题:
(1)解决办法是分别启动节点 $hadoop-daemon.sh start namenode
$hadoop-daemon.sh start
datanode
(2)这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker。这样就不会存在这个问题了
(3)关防火墙
(4)关闭datanode安全模式: hadoop dfsadmin -safemode leave
(5)datanode硬盘空间不够用 #df -hl
(6)删除/tmp/dfs/data/中的所有内容,重启
(7)这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker
(8)格式化,启动
---------------------------------------------------------------------------------------------------------------
接下来我会继续学习hadoop,计划先学习它的使用,再学习基于hadoop的程序开发。我目前在VM的ubuntu下安装hadoop,感觉分布式开发环境这样搭建可能会有问题,大家有好的开发学习方法请告之。还有上面的那个错误,希望能不吝赐教。
相关文章推荐
- 面对日均亿万级违规内容,如何构建弹性深度学习计算平台?
- Spark计算平台算子介绍与学习
- 阿里云学习九 - 弹性计算:云服务器 & 负载均衡
- 计算广告学习笔记 6.5 广告交易市场 需求方平台
- 基于弹性计算平台——构建高可用、可扩展的应用
- 基于弹性计算平台——构建高可用、可扩展的应用
- [网摘学习]使用openstack构建私有云计算平台
- 实时计算平台中的弹性集群资源管理
- 云计算之Iaas 平台(controller节点)配置过程 学习心得及总结
- 京东DNN实验室:大数据、深度学习与计算平台的实践
- 阿里云弹性计算Apsara Block Storage正式发布 构建企业级分布式块存储服务平台
- 计算广告学习笔记 5.3 搜索广告与demand技术 流式计算平台
- Eucalyptus弹性计算云平台配置文件和xen配置文件(centos)
- 云计算学习总结(1)——PaaS云平台部署之在Centos7搭建Mesos+Zookeeper+Marathon+Docker单机集群
- Eucalyptus弹性计算云平台配置文件和xen配置文件(centos)
- 计算广告学习笔记 5.4 搜索广告与demand技术 广告购买平台
- AWS搭建Condor弹性计算平台
- 计算广告学习笔记2.4 合约广告系统-Hadoop
- 转载::学习C/C++编程,Linux平台的优势与劣势
- .Net语言 APP开发平台——Smobiler学习日志:如何在手机上实现折线图表