您的位置:首页 > 大数据 > Hadoop

用flume提交文件到hdfs系统,并保持原来的文件名信息

2016-01-05 09:10 465 查看
用flume提交文件到hdfs系统,并保持原来的文件名信息的配置方式:

# 配置files_source

# spooling

agent1.sources.files_source.type = spooldir

agent1.sources.files_source.spoolDir = /tmp/flumetest/

agent1.sources.files_source.fileHeader = true

agent1.sources.files_source.fileHeaderKey = fileName

# 配置hdfs_sink

agent1.sinks.hdfs_sink.type = hdfs

agent1.sinks.hdfs_sink.hdfs.path = hdfs://localhost:9000/myflumetestcluster/flume

agent1.sinks.hdfs_sink.fileType = SequenceFile

# agent1.sinks.hdfs_sink.fileType = DataStream #值DataStream表示文件类型,不会被压缩

# agent1.sinks.hdfs_sink.writeFormat = Text #针对DataStream,使用Text输出格式

agent1.sinks.hdfs_sink.hdfs.filePrefix = %{fileName}  #把原来的文件名作为前缀
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  flume hdfs