SODBASE CEP学习进阶篇(二)续:日志采集-Logstash、Kafka和CEP集成
2016-06-03 16:45
399 查看
1. 安装配置logstash
在官网https://www.elastic.co/downloads/logstash 下载2.0.0以上版本的logstash如果下载rpm包,安装命令rpm -ivh logstash-2.*.*-1.noarch.rpm,*用实际版本号代替,logstash通常被安装到了/opt目录下了
如果下载zip或gz文件,则直接解压
新建一个配置文件
$ vi log.conf
input { file { path => "被监测日志的路径,可以带通配符*号,如/logs/mylog.log" } } filter { } output { kafka { bootstrap_servers => "localhost:9092" topic_id => "test" } }保存log.conf
$ bin/logstash -f log.conf
2. 配置Kafka
参考《SODBASE CEP学习进阶篇(七)续:SODBASE CEP与Spark streaming集成-低延迟规则管理》1.2.1小节,在kafka中建立名称为test的topic3. SODBASE CEP接收分析数据
下载kafkatest.sodata2 (对应的模型kafkatest.sod,可以放到Studio的files目录下,通过Studio来查看),使用CEP Server Admin将此模型安装到CEPServer,并启动.(安装启动模型可参考《SODBASE CEP学习进阶篇(七)续:SODBASE CEP与Spark streaming集成-低延迟规则管理》1.2.2小节)
测试时可以往日志文件中写入一些数据
echo 'a new line' >> /logs/mylog.log
在这个模型中我们只做了屏幕打印输出
Fri Jun 03 16:37:16 CST 2016 T1 message: {"message":"a new line","@version":"1","@timestamp":"2016-06-03T08:37:14.060Z","path":"/logs/mylog.log","host":"localhost.localdomain","type":"logs"} Fri Jun 03 16:37:16 CST 2016
SODBASE CEP用于轻松、高效实施数据监测、监控类、实时交易类项目
![](https://oscdn.geek-share.com/Uploads/Images/Content/201707/61c17ed2eb67211a84e137429ac3f7ad.gif)
。EPL语法见SODSQL写法与示例。图形化建模请使用SODBASE
Studio,参考Studio视频教程。嵌入式方式编程参见运行第一个EPL例子。缓存扩展参见与分布式缓存集成。
8月~10月,社区活动,使用SODBASE产品的程序员现在可领礼品啦
相关文章推荐
- ubuntu 14.04安装W311MA无线网卡驱动
- Finding a feasible course schedule using Tabu search(1)论文翻译
- JDBC driver connection string大全
- 1082. Read Number in Chinese (25) PAT
- Nginx之location 匹配规则详解
- 设计模式总结之状态模式
- qt-tcp发送和接收识别
- Hibernate-Criteria查询(2)动态查询、排序、分页、连接查询、投影查询、聚合函数
- afxwin.h 与stdafx.h
- 将博客搬至CSDN
- jQuery选择器大全整理
- Topcoder SRM 636 Div1 B
- C#队列(Queue)
- jQuery选择器大全整理
- 各个秒之间的换算率
- React confim popup components 弹出确认框组件的实现
- LeetCode-257.Binary Tree Paths
- :before
- tomcat启动正常,但是项目无法访问
- Ionic如何创建APP项目