Zookeeper Memory leak
2014-03-01 13:01
267 查看
依然是前阶段(太久没写blog了)发现线上Kafka用的Zookeeper集群其中一个节点内存用到了4个多GB,进一步发现这个节点的watcher有几百万了=。=发现原来在所有的flume-agent上只配置了这个节点,以为会自动感知(线上版本是3.4.5,还没这么高端的功能);另外发现agent端的flume conf是自动生成的,其中topic是判断固定路径下所有日志的文件名,每个文件名会生成一个topic+channel,有些应用会不遵守规范在该路径下写很多文件,所以很多session会监听几百个watcher. 很多session其实已经closed掉了但是watcher还在,这其实是Zookeeper的一个bug(ZOOKEEPER-1382)导致的memory leak,down掉到无所谓,就怕gc导致的slow response进而影响produce/consume.
相关文章推荐
- 基于Zookeeper的使用详解
- 使用zookeeper实现分布式共享锁
- Fourinone四合一分布式计算框架整体介绍
- zookeeper技术浅析
- Android Handler leak 分析及解决办法
- 远程调用服务的设计构思(zookeeper的一种应用实践)
- 折腾了一星期的memory leak
- 使用CRT调试功能来检测内存泄漏
- [WPF] Finding Memory Leaks in WPF-based applications
- 内存泄漏问题
- 转贴:编程修养(三)
- 引用详解。。
- 正确区分C++中的内存分配(转)
- 编程修养(作者:陈皓)——向陈皓致敬
- 堆与栈的区别
- check kernel memory leak
- c++中new的几种用法
- Apartment hunting
- 存储类、链接和内存管理复习
- VC调试小技巧(菜鸟级)