logstash的安装使用,版本6.2.4
2018-08-21 16:12
281 查看
1.安装logstash
下载:https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.zip
2.修改logstash 文件夹下Gemfile文件
将source改为:https://gems.ruby-china.org
3.cmd进入bin目录
执行logstash-plugin install logstash-input-jdbc
出现如下信息
Validating logstash-input-jdbc
Installing logstash-input-jdbc
Installation successful
表示安装成功
4.在bin中放入mysql-connector-java-5.1.31.jar包
5.bin文件夹新建logstash.conf文件 加入配置
input { jdbc { # mysql相关jdbc配置 jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/vtest?useUnicode=true&characterEncoding=utf-8&useSSL=false" jdbc_user => "root" jdbc_password => "123456" # jdbc连接mysql驱动的文件目录,可去官网下载:https://dev.mysql.com/downloads/connector/j/ jdbc_driver_library => "mysql-connector-java-5.1.31.jar" # the name of the driver class for mysql jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_paging_enabled => true jdbc_page_size => "50000" jdbc_default_timezone =>"Asia/Shanghai" # mysql文件, 也可以直接写SQL语句在此处,如下: statement => "select * from t_owner" # statement_filepath => "jdbc.sql" # 这里类似crontab,可以定制定时操作,比如每分钟执行一次同步(分 时 天 月 年) schedule => "* * * * *" #type => "jdbc" } } output { elasticsearch { hosts => "127.0.0.1:9200" #索引名 index => "owner" #数据库对应的主键,而且还全部是小写字母 否则只能导入一条数据,执行的是更新操作 document_id => "%{ownerid}" template_overwrite => true } # 这里输出调试,正式运行时可以注释掉 stdout { codec => json_lines } }
7.配置好后 cmd进入bin目录,执行如下命令
logstash.bat -f logstash.conf
如果看到小黑屏有sql输出,你就成功啦,数据是实时同步的你可以去head查一下有没有数据
参考:https://blog.csdn.net/a863922230/article/details/80293931
参考这个链接的没有成功,然后我把sql放到input 里就可以了
相关文章推荐
- ELK 架构之 Elasticsearch、Kibana、Logstash 和 Filebeat 安装配置汇总(6.2.4 版本)
- SVN最新可视化版本库安装和Eclipse中使用SVN插件进行团队开发
- 在安装有VS2008beta2版本的机子上使用vs2005进行部署出现问题的解决方法
- VS2008下直接安装使用Boost库1.46.1版本
- SVN最新可视化版本库安装和Eclipse中使用SVN插件进行团队开发
- VS2008下直接安装使用Boost库1.46.1版本
- 三步实现Eclipse中使用SVN插件进行团队开发和SVN最新可视化版本库安装
- 使用InstallUtil安装及卸载Windows服务的具体操作 Visual Studio 2012版本
- CVS版本控制的安装配置与使用
- 使用vmware安装了ubuntu 8.04 server版本无法进入图形界面
- 64位Linux使用yum安装两个相同软件不同版本包的解决方法
- 使用 Microsoft SQL Server 2000 各种版本或组件而必须安装的操作系统
- [置顶] CentOS 安装 hadoop hbase 使用 cloudera 版本。(一)
- VS2008下直接安装使用Boost库1.46.1版本
- CentOS下编译安装MySQL5.5.x的版本需使用Cmake编译器
- google protocol buffer 简介 版本 安装 使用 实例
- 如何安装 Microsoft Office 兼容包,以便能够使用早期版本的 Excel、PowerPoint 和 Word 来打开和保存来自 2007 Office 程序的文件
- Eclipse中SVN版本控制插件的安装和使用
- Eclipse中SVN版本控制插件的安装和使用 (转贴)
- 同时安装oracle9 i,10 g 控制台 cmd,exp指令使用数据库版本切换,plsql数据库版本切换,