Flume-ng-1.3.0 spooling source的方式增加了对目录的递归检测的支持

原有的spooling source的方式只支持一级目录的文件变动的检测，修改了一下源码支持对目录的递归检测，可以支持多级目录下的文件变动

SpoolingFileLineReader类增加以下下方法

/**

* add by yangbutao

*

* @param files

* @param dir

* @param filter

*/

private void listDirFiles(List<File> files, File dir, FileFilter filter) {

File[] childs = dir.listFiles(filter);// 列出目录下所有的文件

for (int i = 0; i < childs.length; i++) {

if (childs[i].isFile()) {

files.add(childs[i]);

} else {

if (childs[i].isDirectory()) {

listDirFiles(files, childs[i], filter);// 如果是个目录,就继续递归列出其下面的文件.

}

}

}

}



修改getNextFile方法

private Optional<FileInfo> getNextFile() {

/* Filter to exclude finished or hidden files */

FileFilter filter = new FileFilter() {

public boolean accept(File pathName) {

if ((pathName.getName().endsWith(completedSuffix))

|| (pathName.getName().startsWith("."))) {

return false;

}

return true;

}

};

// List<File> candidateFiles =Arrays.asList(directory.listFiles(filter));//注释掉原有的

List<File> candidateFiles = new ArrayList<File>();//新增的

listDirFiles(candidateFiles, directory, filter);//新增的