Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

分类： 分布式框架 hadoop2012-01-06
10:17 1135人阅读 评论(4) 收藏 举报

服务器hadoop测试网络

hadoop在使用的过程中出现了这样的错误。

解决方式，修改datanode节点里/etc/hosts文件。

操作的详细步骤如下：

首先查看主机名称

cat /proc/sys/kernel/hostname

简单介绍下hosts格式

每行分为三个部分：第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名

修改hosts配置内容如下：

127.0.0.1 localhost.localdomain localhost

::1 localhost6.localdomain6 localhost6

10.200.187.77 10.200.187.77 hadoop-datanode

如果配置后出现IP地址就表示修改成功了，如果还是显示主机名就有问题了，继续修改这个hosts文件，

这里提醒下：原始的hosts文件，在第一行里会把主机名写入，如下内容：

127.0.0.1 hadoop-datanode localhost.localdomain localhost

这是是需要把hadoop-datanode内容删除掉。

如下图：



上图提醒下，chenyi是主机名。



当在测试环境里，自己再去部署一个域名服务器（个人觉得很繁琐），所以简单地方式，就直接用IP地址比较方便。

如果有了域名服务器的话，那就直接进行映射配置即可。