kafka hdfs connect 会产生只有一个记录的小文件

1. 问题现象：

如果用kafka hdfs connect将流式数据导入hdfs，处理开始一定会产生N个只有一条记录的小文件，其中N 为kafka topic的分区数。不影响功能，但不友好。

ubuntu@wonderwoman:~/databus/confluent-2.0.0/src/kafka-connect-hdfs-2.0.0$ hadoop fs -ls /topics/traceme/srcip=1.0.0.1/dstip=1.0.0.2
Found 18 items
-rw-r--r--   3 ubuntu supergroup        671 2016-06-28 17:20 /topics/traceme/srcip=1.0.0.1/dstip=1.0.0.2/traceme+0+0000000167+0000000167.parquet

2. 问题原因：

数据写入hdfs的时机有两个，超时或者条数达到要求。超时机制：

1. 检查当前时间和上次写文件时间是否超过配置值；

2. 如果超过，写文件，记录下此次写入时的系统时间；

问题出在类初始化时，没有对记录的变量进行初始化，long型默认值是0。第一个数据来时，当前系统时间-0 肯定会大于配置值，就会去写文件。

3. 修改方案：

kafka-connect-hdfs-2.0.0\src\main\java\io\confluent\connect\hdfs\TopicPartitionWriter.java类初始化时将变量lastRotate初始化为当前系统时间。