hadoop问题集锦及解决办法
2015-06-25 03:12
405 查看
开发环境:win7 eclipse hadoop2.2.0 jdk1.7
hadoop运行环境:Cent OS 6.5 hadoop2.2.0 jdk1.7
1.win7下eclipse开发运行mapreduce程序遇到问题:Could not locate executable null\bin\winutils.exe
原因:缺少可执行文件winutils.exe
解决办法:https://github.com/srccodes/hadoop-common-2.2.0-bin下载对应文件并复制到开发环境下hadoop_home的bin目录下
2.Call From WIN-20141121CWR/192.168.93.1 to hadoop0:9000 failed on connection
原因:由于hadoop配置中core-site.xml文件的hdfs访问地址不是使用的ip而是主机名
解决办法:主机名改为IP地址
3.Datanode cannot communicate with namenode:Datanode Registration
原因:未知
解决办法:修改linux下/etc/hosts文件,把127.0.0.1改为内网IP地址,如:192.168.2.100
4.非root用户无法无密码登录本机。
原因:.ssh目录下authorized_keys文件权限问题
解决办法:运行命令,chmod 710 authorized_keys
hadoop运行环境:Cent OS 6.5 hadoop2.2.0 jdk1.7
1.win7下eclipse开发运行mapreduce程序遇到问题:Could not locate executable null\bin\winutils.exe
原因:缺少可执行文件winutils.exe
解决办法:https://github.com/srccodes/hadoop-common-2.2.0-bin下载对应文件并复制到开发环境下hadoop_home的bin目录下
2.Call From WIN-20141121CWR/192.168.93.1 to hadoop0:9000 failed on connection
原因:由于hadoop配置中core-site.xml文件的hdfs访问地址不是使用的ip而是主机名
解决办法:主机名改为IP地址
3.Datanode cannot communicate with namenode:Datanode Registration
原因:未知
解决办法:修改linux下/etc/hosts文件,把127.0.0.1改为内网IP地址,如:192.168.2.100
4.非root用户无法无密码登录本机。
原因:.ssh目录下authorized_keys文件权限问题
解决办法:运行命令,chmod 710 authorized_keys
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- java结合HADOOP集群文件上传下载
- 用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试
- Hadoop安装感悟
- hadoop安装lzo