Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
2012-01-06 10:17
423 查看
hadoop在使用的过程中出现了这样的错误。
解决方式,修改datanode节点里/etc/hosts文件。
操作的详细步骤如下:
首先查看主机名称
cat /proc/sys/kernel/hostname
简单介绍下hosts格式
每行分为三个部分:第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名
修改hosts配置内容如下:
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
10.200.187.77 10.200.187.77 hadoop-datanode
如果配置后出现IP地址就表示修改成功了,如果还是显示主机名就有问题了,继续修改这个hosts文件,
这里提醒下:原始的hosts文件,在第一行里会把主机名写入,如下内容:
127.0.0.1 hadoop-datanode localhost.localdomain localhost
这是是需要把hadoop-datanode内容删除掉。
如下图:
上图提醒下,chenyi是主机名。
当在测试环境里,自己再去部署一个域名服务器(个人觉得很繁琐),所以简单地方式,就直接用IP地址比较方便。
如果有了域名服务器的话,那就直接进行映射配置即可。
解决方式,修改datanode节点里/etc/hosts文件。
操作的详细步骤如下:
首先查看主机名称
cat /proc/sys/kernel/hostname
简单介绍下hosts格式
每行分为三个部分:第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名
修改hosts配置内容如下:
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
10.200.187.77 10.200.187.77 hadoop-datanode
如果配置后出现IP地址就表示修改成功了,如果还是显示主机名就有问题了,继续修改这个hosts文件,
这里提醒下:原始的hosts文件,在第一行里会把主机名写入,如下内容:
127.0.0.1 hadoop-datanode localhost.localdomain localhost
这是是需要把hadoop-datanode内容删除掉。
如下图:
上图提醒下,chenyi是主机名。
当在测试环境里,自己再去部署一个域名服务器(个人觉得很繁琐),所以简单地方式,就直接用IP地址比较方便。
如果有了域名服务器的话,那就直接进行映射配置即可。
相关文章推荐
- Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
- hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
- hive Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
- hadoop异常之Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
- Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES解决方案
- Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误
- After scale out the vm size, failed to connect the vm on azure platform
- caffe训练过程中显示Check failed:error == cudaSuccess(2 vs. 0) out of memory
- caffe在训练时遇到:Check failed: error == cudaSuccess (2 vs. 0) out of memory
- Failed to enable constraints. One or more rows contain values violating non-null, unique, or foreign-key constraints.
- android studio failed to open zip file .Android Studio Error:Connection timed out: connect.
- iOS 真机调试 出现process launch failed: timed out waiting for app to launch 和 failed to get the task for 的
- publishing failed with multiple errors resource is out of sync with the file system--转
- Gradle 'ExoPlayer-release-v2' project refresh failed Error:Connection timed out: connect
- process launch failed: timed out trying to launch app
- android.database.sqlite.SQLiteConstraintException: UNIQUE constraint failed异常解决
- Flex Failed to connect; session timed out.解决办法
- error: ext4_allocate_best_fit_partial: failed to allocate 742 blocks, out of space?
- publishing failed with multiple errors resource is out of sync with the file system
- Failed to load webpage with error: The request timed out.