您的位置：首页 > 运维架构

部署hadoop时常见错误解决

2013-11-16 21:49 246 查看

1. 运行代码时Authenticate错误

进入hadoop安装目录的src目录下对pipes和utils重新编译，

./configure

make install

第一步时会遇到提示没有找到libssl.so

确认/usr/lib/目录下有这个链接库，如果有的话直接在configure 报错那行注释掉exit，没有的话装一个openssl

然后编译hadoop代码时用src/install目录下的include和lib就可以了。

2. 对master执行 hadoop namenode -format之后，需要对每个slave节点的hadoop内执行以下操作：

rm -r /tmp/hadoop*

rm -r tmp

mkdir tmp

3.如果/home/目录下空间较少，而又想统一部署到此目录，可以在其他硬盘存放hadoop目录，然后在home目录ln -s path就可以了。

4.pipes模式编译时发现巴拉巴拉爆了一堆pipes内部undefined错误，可以在reducer函数内直接用个flat s=HadoopUtils::toFloat("1");

5.需要关闭所有服务器防火墙 sudo ufw disable

6.如果出现某台slave的datanode无法启动，log日志显示hostname无法解析，可以将此slave的hostname直接改成其对应的ip地址

7.更改任何一台slave的hostname时，必须重新hadoop namenode -format，所有slave节点必须执行错误2 操作。

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签： hadoop

相关文章推荐

新的分享

章节导航