使用ZooKeeper解决Hadoop单点故障(single point of failure)
2010-01-05 17:50
465 查看
1、目前Hadoop版本只支持一个主节点,存在单点故障的问题,即如果主节点异常,任务执行情况会丢失,数据可能会损坏。目前通常的建议是,客户端编码时进行异常判断和处理,比如多次请求执行任务。
2、ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组(Group)服务等。
3、ZooKeeper能够用来leader选举,配置信息维护等。在一个分布式的环境中,我们需要一个Master实例或存储一些配置信息,确保文件写入的一致性等。
4、目前ZooKeeper解决Hadoop的单点故障实现的是主备机方式。今后还需要看Hadoop是否能实现多主节点的负载均衡方式,或者在另一台机器上做Namenode故障转移的功能。
2、ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组(Group)服务等。
3、ZooKeeper能够用来leader选举,配置信息维护等。在一个分布式的环境中,我们需要一个Master实例或存储一些配置信息,确保文件写入的一致性等。
4、目前ZooKeeper解决Hadoop的单点故障实现的是主备机方式。今后还需要看Hadoop是否能实现多主节点的负载均衡方式,或者在另一台机器上做Namenode故障转移的功能。
相关文章推荐
- 消除小型 Web 站点单点故障(Single Point of Failure)
- 消除小型 Web 站点单点故障(Single Point of Failure)
- Thread 2: No single point of failure
- Hadoop series :The solution about nameNode single point failure
- 大数据之Hadoop平台(四)Centos6.5(64bit)Hadoop2.5.1、Zookeeper3.4.6、Hbase0.98.6.1安装使用过程中错误及解决方法
- Hadoop使用常见问题以及解决方法(1)
- Hadoop使用常见问题以及解决方法
- MyEclipse使用Tomcat,报OutOfMemoryError的解决办法
- Hadoop使用常见问题以及解决方法
- 不适合使用hadoop来解决的问题
- Hadoop使用常见问题以及解决方法
- Android开发使用adb时出现adb server is out of date的解决方法
- 解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError:Java heap space问题
- hadoop用户使用svn时无法保存密钥的解决办法
- 解决问题: 使用hadoop时出现:java.io.IOException: Bad connect ack with firstBadLink ...
- Failed to generate a user instance of SQL Server due to failure in retrieving the user's local application data path 解决(VS2010+IIS7.5)
- 使用Buildozer部署时,出现unknown option‘single-branch’错误的解决
- Hadoop学习笔记(二)——zookeeper使用和分析
- 使用android工程作为类库Unable to resolve superclass of L问题的解决
- 使用SharePoint EventHandler added与updated 事件遇到的错误与解决方法