您的位置:首页 > 其它

How to beat the CAP theorem--笔记

2014-07-16 17:51 323 查看
How to beat the CAP theoremStorm 的作者nathanmarz.在2011年一篇博文。(中文翻译也有)

尽管在我读到时,已经过了3年。这边文章仍然给我很大感触。

1、CAP原则,分区容错、一致性、可用性。往往由于关系型数据库的原因,保证一致性和可用性,而变得非常复杂。这个时候将数据处理成immutable(排除人为错误,在某个时刻产生的数据,在那个时刻肯定是正确的)确实是个非常巧妙的想法。这种immutable数据去除了update,delete操作,只存在create,query两种操作,非常巧妙的避免了复杂性。文中提到的ElephantDB数据库实现也非常有参考价值。

2、文中提到了处理这种immutable数据的方式,将hadoop批处理和storm实时流计算结合:

-hadoop计算过去已存在的不可变数据,所以不存在复杂性问题,完美解决CAP问题。

-storm执行最近的数据,这里还是会有一致性和可用性问题。尽管数据会出错,就如文中作者遇到了,但是是可恢复的。 因为hadoop产生的批数据会对storm产生的结果进行修正,保证最终结果是对的。

读完 的思考:storm如何保证一致性和可用性。以及如何避免人为造成的错误?
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: