Flume-ng HDFS Sink “丢数据”

原创作品，允许转载，转载时请务必以超链接形式标明文章
原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1308188

线上对Flume流入HDFS配置path:p1，每分钟切一个文件，定期从p1从move完成的（rename）文件到外部表进行计算分析，发现有“丢数据”现象：即在p1下经常看到几GB的.tmp文件，查看Flume日志发现当出现CallTimeout
Exception :HDFS IO ERROR后，sink一直向.tmp写入，而不进行rename.
Flume HDFS Sink正常写入流程见：http://boylook.blog.51cto.com/7934327/1298627
默认情况下，当BucketWriter flush超过calltimeout（default:10s）时，会报出异常，这时可能HDFS或者网络异常，如果恰好到达了rollinterval，bucketWriter执行close->flush也会报出同样的异常：Unexpectederror，没有执行到renameBucket，此后该bucketWriter保持打开状态（因为intervalroll只在bucketWriter打开时进行一次调度），一直进行数据写入不再roll直到1.创建写的路径2.Flume重启
3.打开到达maxOpenFiles，这些是不可接受的.
查看源码发现在每次flush时会判断是否使用idleTime，如果使用则会调度一个idleHandler
thread进行清理：1.关闭bucketWriter 2.从LRUList中摘除掉bucketWriter，而默认竟然是不启用的=.=，后设置idleTime稍大于roll
interval后，不再出现“数据丢失”
BTW，对于HDFS SINK，callTimeout和idleTimeout的默认值真是太傻了...

本文出自 “MIKE老毕的海贼船” 博客，请务必保留此出处http://boylook.blog.51cto.com/7934327/1308188

 

相关文章

Flume-ng HDFS sink原理解析
Flume安装
Flume-ng FileChannel原理解析
Flume分布式日志系统（一）：flume安装配置
Flume-ng:multi sink one channel两种配置方..

职位推荐

Oracle数据库工程师
数据库开发工程师