使用flume替代原有的scribe服务
2015-07-13 14:50
267 查看
以前很多业务都是用scribe做日志收集的支撑的,后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了,各种坑,正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe,但是失去了官方支持毕竟还是很闹心的。
flume 1.6的新特性里面是加入了对kafka的source和sink的支持,以及对数据内容的正则过滤传递,这点很有用,貌似下个月或者下下个月会有本关于flume的新书上市。
本文出自 “实践检验真理” 博客,请务必保留此出处http://slaytanic.blog.51cto.com/2057708/1673777
agent.channels=c1 agent.channels.c1.capacity=20000 agent.channels.c1.transactionCapacity=10000 agent.channels.c1.type=memory agent.sinks=k1 agent.sinks.k1.channel=c1 agent.sinks.k1.hdfs.batchSize=8000 agent.sinks.k1.hdfs.filePrefix=log agent.sinks.k1.hdfs.fileType=DataStream agent.sinks.k1.hdfs.path=hdfs://NNHA/data/flume/%{category}/%Y%m%d agent.sinks.k1.hdfs.rollCount=0 agent.sinks.k1.hdfs.rollInterval=86400 agent.sinks.k1.hdfs.round=true agent.sinks.k1.hdfs.roundUnit=minute agent.sinks.k1.hdfs.roundValue=1 agent.sinks.k1.hdfs.serializer.appendNewline=false agent.sinks.k1.hdfs.useLocalTimeStamp=true agent.sinks.k1.hdfs.writeFormat=TEXT agent.sinks.k1.type=hdfs agent.sources=r1 agent.sources.r1.channels=c1 agent.sources.r1.host=0.0.0.0 agent.sources.r1.port=1463 agent.sources.r1.type=org.apache.flume.source.scribe.ScribeSource agent.sources.r1.workerThreads=5主要是serializer.appendNewline设置为false,否则会每条自动添加一个回车上去,其他也没什么太多好解释的,用过flume的自然秒懂,hdfs.path里面,%{category}就是意味着原来scribe里面的category。
flume 1.6的新特性里面是加入了对kafka的source和sink的支持,以及对数据内容的正则过滤传递,这点很有用,貌似下个月或者下下个月会有本关于flume的新书上市。
本文出自 “实践检验真理” 博客,请务必保留此出处http://slaytanic.blog.51cto.com/2057708/1673777
相关文章推荐
- 关于Java 23种设计模式的有趣见解
- java项目中Javah的使用
- Java中的代码块系列1——静态代码块和构造代码块的调用机制
- ThinkPHP实现跨模块调用操作方法概述
- Linux系统内存的Cached Memory
- hadoop2.7集群完全分布式安装配置
- 命令行下运行hello world
- KSS2目标成本和控制成本的定义
- iOS开发系列--数据存取
- Java对象的序列化和反序列化
- Sparrow.Chart.Wpf控件的动态调用
- sqlite导入mysql
- 敢于追求梦想 人生才会辉煌 月薪19000
- ajaxFileUpload 上传文件
- Android技巧:使用Service还是Thread
- Cocos2dx------2048游戏
- Java-面向对象
- 重定向(forward与sendRedirect)区别
- java 把字符串中的反斜杠(\)替换成(\\)
- 编译VC静态库中遇到的C2859错误解决方案