kafka shutdown停止关闭很慢问题的解决方案
2016-12-31 22:42
239 查看
kafka shutdown停止很慢问题
在数据量大的时候,consumer一次抓取数据的数据很多,进入到业务处理的数据可能有很多,
假设一次poll有1万条数据进入业务程序,而且业务程序是和poll绑定在一起线程同步执行的,假设平均每条数据,执行业务程序花费100ms,
那么poll一次的数据,至少要执行 1w*0.1s = 1000s = 16.67分钟。
所以,在数据量大的时候,停止一个线程(需要先等待业务程序处理完数据),可能要十几分钟。
shutdown问题解决方案
1、改成异步处理数据,consumer取出来的数据,放到BlockQueue中,由异步线程去处理,当异步线程处理不过来时,阻塞consumer,调用consumer.pause()方法avoid group management rebalance,代码如下(来源于Spring-Kafka):
2、如果是同步执行数据处理,考虑提高业务程序 处理数据的速度。
3、同步处理数据,但是改成手动提交offset,当shutdown的时候,poll的数据不需要全部处理,只需要记录处理的位置即可。代码示例如下:
另外,
Kafka停不掉shutdown关闭不了问题
原因是卡在了consumer.close()方法里面,它会提交offset信息,如果网络中断或者kafka服务器有问题导致提交不了offset,则consumer.close方法会一直卡住(不停的循环尝试提交offset,永不中断)。
参见:Kafka poll一直等待的bug:
https://issues.apache.org/jira/browse/KAFKA-4189?jql=project%20%3D%20KAFKA%20AND%20resolution%20%3D%20Unresolved%20AND%20component%20%3D%20consumer%20ORDER%20BY%20priority%20DESC https://issues.apache.org/jira/browse/KAFKA-3172?jql=project%20%3D%20KAFKA%20AND%20resolution%20%3D%20Unresolved%20AND%20component%20%3D%20consumer%20ORDER%20BY%20priority%20DESC
解决方法:目前还没有好的办法,只能将offset的自动提交改成手动提交offset。但是,我写了一个程序可以在调用consumer.close后将线程强行杀死,作为临时解决方案。
在数据量大的时候,consumer一次抓取数据的数据很多,进入到业务处理的数据可能有很多,
假设一次poll有1万条数据进入业务程序,而且业务程序是和poll绑定在一起线程同步执行的,假设平均每条数据,执行业务程序花费100ms,
那么poll一次的数据,至少要执行 1w*0.1s = 1000s = 16.67分钟。
所以,在数据量大的时候,停止一个线程(需要先等待业务程序处理完数据),可能要十几分钟。
shutdown问题解决方案
1、改成异步处理数据,consumer取出来的数据,放到BlockQueue中,由异步线程去处理,当异步线程处理不过来时,阻塞consumer,调用consumer.pause()方法avoid group management rebalance,代码如下(来源于Spring-Kafka):
// avoid group management rebalance due to a slow consumer this.consumer.pause(this.assignedPartitions.toArray(new TopicPartition[this.assignedPartitions.size()])); public void onPartitionsAssigned(Collection<TopicPartition> partitions) { this.assignedPartitions = partitions; }
2、如果是同步执行数据处理,考虑提高业务程序 处理数据的速度。
3、同步处理数据,但是改成手动提交offset,当shutdown的时候,poll的数据不需要全部处理,只需要记录处理的位置即可。代码示例如下:
list data = consumer.poll(); for(record: data) { if(shutdown) { // 收到shutdown命令后立即停止,未处理的数据将丢弃 break; } deal(record); saveTopicOffset(record); } submitDealtDataOffset();
另外,
Kafka停不掉shutdown关闭不了问题
原因是卡在了consumer.close()方法里面,它会提交offset信息,如果网络中断或者kafka服务器有问题导致提交不了offset,则consumer.close方法会一直卡住(不停的循环尝试提交offset,永不中断)。
参见:Kafka poll一直等待的bug:
https://issues.apache.org/jira/browse/KAFKA-4189?jql=project%20%3D%20KAFKA%20AND%20resolution%20%3D%20Unresolved%20AND%20component%20%3D%20consumer%20ORDER%20BY%20priority%20DESC https://issues.apache.org/jira/browse/KAFKA-3172?jql=project%20%3D%20KAFKA%20AND%20resolution%20%3D%20Unresolved%20AND%20component%20%3D%20consumer%20ORDER%20BY%20priority%20DESC
解决方法:目前还没有好的办法,只能将offset的自动提交改成手动提交offset。但是,我写了一个程序可以在调用consumer.close后将线程强行杀死,作为临时解决方案。
相关文章推荐
- kafka shutdown停止关闭很慢问题的解决方案
- [原创] Microsoft Word 2010 关闭不正常(提示:已停止工作,Windows正在检查该问题的解决方案。。) 问题的解决
- windows7关闭"***已停止工作"和"您想发送关于此问题的详细信息吗"提示
- 关于DELLR710/R910(rhel5.3-5.5) Broadcom netxtreme 5709网卡间歇性的停止接收数据包的问题解决方案
- Win7运行程序总提示出现一个问题,导致程序停止正常工作。请关闭该程序?原来GreenBrowser下载有问题……
- *.exe 已停止工作 Windows 正在检查该问题的解决方案
- linux 启动和停止tomcat(解决服务已关闭,进程未停止的问题)
- [转贴]电脑关闭USB设备时“无法停止‘通用卷’设备,请稍候再停止该设备。”问题解决
- URI is not registered 解决方案(android studio异常关闭导致的问题)
- win7或win2008系统中,出现【已停止工作,联机检查解决方案并关闭该程序,关闭程序】解决方法!
- 关于LCD自动关闭问题的解决方案(暂时)
- windows关闭windows正在检查该问题的解决方案
- MATLAB 打开就关闭问题的解决方案
- <转>关闭 程序崩溃时 windows 正在检查该问题的解决方案
- GeckoFX内核浏览器开发--关闭浏览器提示Plugin Container for Nightly 已停止工作解决方案
- 【工作笔记0000】VS2012关闭解决方案或是切换最近方案导致停止工作
- 关于“联想”笔记本“无线网功能关闭”的问题的解决方案
- vs2005/vs2008停止调试时控制台界面不能关闭的解决方案
- windows 7 如何关闭 程序崩溃时弹出的"windows正在检查该问题的解决方案"
- Oracle 启动关闭常见问题与解决方案