Druid接入kafka实时数据操作手册

一、在本机使用plyql模拟SQL语句查询数据（sugo-plyql）：

wget http://58.63.110.97:8888/yum/sugo-plyql.tar.gz[/code] 
解压：

tar xzf sugo-plyql.tar.gz


进入目录：

cd sugo-plyql/cmds


测试”show tables”命令：

./plyql -h 192.168.0.212 -q 'show tables'


得到结果即代表sugo-plyql工具可以使用

二、利用具体化的json数据接入接口，实现druid实时接入kafka数据
首先查询kafka中topic的记录数

登录 root@192.168.0.220 进入目录/opt/apps/kafka_sugo

ssh root@192.168.0.220


cd /opt/apps/kafka_sugo


查看topic记录数

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic carOrder03  --time -1 --broker-list 192.168.0.220:9092,192.168.0.222:9092,192.168.0.221:9092 --partitions 0


//上面的
testRealTime0627
是自定义的数据源（对应json中
ioConfig
的
topic
属性）

登录 http://192.168.0.220:8090/supervisor.html 利用json建立task

查询datesource核对

在本机sugo-plyql安装目录/cmds  输入指令：

./plyql -h 192.168.0.220 -q 'select count(*) from testRealTime0627' -v


//可能会显示
No such datasource
，是因为数据量大，有延迟，过一段时间在查，如果还是显示
No such datasource
很可能是有问题，查看task或者后台的日志

查询正常之后，把task kill了，再重新启动（为了让历史数据落地）。

三、辅助操作
后台日志查询

登录

ssh root@192.168.0.220


用以下命令查询系统日志

tail -200f /data1/druidio/logs/jvm/overlord.log


task日志关键点

Task completed with status　　//Task完成状态（failed or success）