您的位置:首页 > 大数据 > 人工智能

storm kafka出现错误或fail后,是否继续处理数据?

2017-03-13 00:00 399 查看
在可靠性Topology中,storm消费kafka中的数据,当storm ui中出现错误或fail的时候,以后的数据会继续通过Topology被处理完成,但是此时zk中的出现问题的partition的offset是不变的(保留在出错位置,没有出错的partition的offset正常更新),当Topology修复重启后,会从出错位置继续执行,因此可靠性Topology能保证数据至少被处理一次,但是会造成数据重复问题,要注意处理。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  storm kafka 错误 fail
相关文章推荐