hadoop完全分布式过程中遇到的一些问题和总结
2012-07-05 10:51
344 查看
最近接触在配置nutch,接触到一些hadoop方面的知识,自己想配置一个完全分布式的hadoop系统,配置过程中遇到了很多的问题,这里将自己遇到的问题进行总结一下。
(1)首先是Exception in thread "main" java.io.IOException: Call to /XXX.XXX.XX.XXX:9000 failed on local exception: java.io.EOFException。该问题是由于9000端口被使用造成的,因为全面配置nutch的时候占用的9000端口,所以运行程序的时候出现了这个问题。可以将配置文件core-sites.xml文件的fs.default.name端口改为其他值。
(2)系统在配置过程中遇到不能登录本地机器的情况,本以为本机登录本机不需要设置,但是这是错误的想法,要想本机无密码登录本地机器,也需要对本地机器进行无密码ssh设置。
下面介绍一下昨天看hadoop权威指南的一下收获:
(1)首先reduce输出路径在任务运行前应该不存在,这样设计的目的是为了防止结果被覆盖。
(2)map和reduce输出类型相同,都有setoutputkeyclass和setOutputValueClass指定。
(3)关于配置文件,core-site.xml配置文件负责配置Common组建属性,hdfs-site.xml配置问津啊负责配置hdfs属性,mapred-site.xml配置文件负责MapReduce属性配置。
(4)配置ssh要确保用户能够无密码登录本地机器。
(5)HDFS的意思是分布式文件系统。
(6)hadoop是基于数据流的程序驱动运行过程。
(7)hadoop分布式运行的关键是如何正确配置属性和正确运行守护程序。
(1)首先是Exception in thread "main" java.io.IOException: Call to /XXX.XXX.XX.XXX:9000 failed on local exception: java.io.EOFException。该问题是由于9000端口被使用造成的,因为全面配置nutch的时候占用的9000端口,所以运行程序的时候出现了这个问题。可以将配置文件core-sites.xml文件的fs.default.name端口改为其他值。
(2)系统在配置过程中遇到不能登录本地机器的情况,本以为本机登录本机不需要设置,但是这是错误的想法,要想本机无密码登录本地机器,也需要对本地机器进行无密码ssh设置。
下面介绍一下昨天看hadoop权威指南的一下收获:
(1)首先reduce输出路径在任务运行前应该不存在,这样设计的目的是为了防止结果被覆盖。
(2)map和reduce输出类型相同,都有setoutputkeyclass和setOutputValueClass指定。
(3)关于配置文件,core-site.xml配置文件负责配置Common组建属性,hdfs-site.xml配置问津啊负责配置hdfs属性,mapred-site.xml配置文件负责MapReduce属性配置。
(4)配置ssh要确保用户能够无密码登录本地机器。
(5)HDFS的意思是分布式文件系统。
(6)hadoop是基于数据流的程序驱动运行过程。
(7)hadoop分布式运行的关键是如何正确配置属性和正确运行守护程序。
相关文章推荐
- Hadoop完全分布式搭建过程中遇到的问题小结
- Hadoop1.2.1+Zookeeper3.4.5+HBase0.94.18完全分布式集群配置过程中遇到的问题
- Hadoop安装过程中遇到的一些问题
- hadoop 1.x集群搭建及搭建过程遇到的问题总结
- SDN开发过程中遇到的一些问题总结
- Hadoop学习过程遇到的问题总结
- hadoop为分布式遇到的问题总结
- Hadoop 2.8.2 和 Spark 2.1.0 分布式搭建及遇到的一些小问题
- sublime2使用过程中遇到的一些问题总结
- hadoop分布式集群部署以及过程中遇到的一些坑
- 搭建hadoop伪分布式遇到的一些问题
- Cocos2d-x项目过程中遇到的一些问题总结
- Hadoop1.2.1伪分布式部署遇到的一些问题
- Hadoop学习过程遇到的问题总结
- 通过 Socket 发送 Http协议 上传图片到速卖通服务器过程中遇到的一些小的问题 总结
- Hadoop学习过程中遇到的问题总结
- 在redis使用过程遇到的一些问题的总结
- jquerymobile1.4开发过程中遇到的一些问题总结
- 安装Hadoop 2.7.3的过程中遇到的一些问题及解决方法。
- 在hadoop全分布式配置过程中编辑/etc/hosts时遇到权限的问题