storm kafka出现错误或fail后,是否继续处理数据?
2017-03-13 00:00
399 查看
在可靠性Topology中,storm消费kafka中的数据,当storm ui中出现错误或fail的时候,以后的数据会继续通过Topology被处理完成,但是此时zk中的出现问题的partition的offset是不变的(保留在出错位置,没有出错的partition的offset正常更新),当Topology修复重启后,会从出错位置继续执行,因此可靠性Topology能保证数据至少被处理一次,但是会造成数据重复问题,要注意处理。
相关文章推荐
- 使用两个不同类型的数据进行加法计算时,使用异常处理语句捕获由于数据类型错误而出现的异常,发生生成错误。是否继续并运行上次的成功生成?
- 大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark
- SpringMVC中出现" 400 Bad Request "错误(用@ResponseBody处理ajax传过来的json数据转成bean)的解决方法
- linux shell 读取for循环中出现难处理的数据之单引号错误实例
- sql server 2005处理数据挖掘结构出现错误
- storm的ack和fail为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪, 这里面涉及到ack/fail的处理, 如果一个tuple处理成功, 会调用s
- AFNetworking,处理返回数据时出现Error Domain=NSCocoaErrorDomain Code=3840 错误
- 如何在E-MapReduce上提交Storm作业处理Kafka数据
- 数据启动出现错误1063 正确处理方式
- 【storm-kafka】storm和kafka结合处理流式数据
- Flume+Kafka+Storm+Redis构建大数据实时处理系统 - 大数据
- 实时数据处理环境搭建flume+kafka+storm:2.flume 安装
- SpringMVC中出现" 400 Bad Request "错误(用@ResponseBody处理ajax传过来的json数据转成bean)的解决方法
- SpringMVC中出现" 400 Bad Request "错误(用@ResponseBody处理ajax传过来的json数据转成bean)的解决方法
- asp.net + ajax出现数据回传错误的处理
- SpringMVC中出现" 400 Bad Request "错误(用@ResponseBody处理ajax传过来的json数据转成bean)的解决方法
- 实时数据处理环境搭建flume+kafka+storm:3.kafka安装
- 实时数据处理环境搭建flume+kafka+storm:1.zookeeper 安装配置
- 实时数据处理环境搭建flume+kafka+storm:4.storm安装配置
- SpringMVC中出现" 400 Bad Request "错误(用@ResponseBody处理ajax传过来的json数据转成bean)的解决方法