Kafka集群配置及UI监控
2016-08-16 00:39
453 查看
配置:5台机器 系统版本CentOS release 6.5
host1,host2,host3搭建zookeeper集群
host1,host2,host3,host4,host5搭建kafka集群
zookeeper使用kafka中自带的
目录 /usr/lib/
修改
添加
在dataDir目录中添加标示
先创建好所需路径
接下来将host1中配置好的kafka复制到其它机器中,需要配置scp
三次回车
将生成的/root/.ssh/id_rsa.pub中的内容,粘贴到其他机器的/root/.ssh/authorized_keys中
*注意复制粘贴时检查中间是否藏了回车
其他机器 vim /etc/hosts.allow 添加
之后在host1中,可以进行scp文件传输
登录其他机器,修改server.properties
创建myid
分别在三台机器上启动,启动前两台时因连不上其他机器,可能报错,等三台机器都启动zookeeper后错误消失
分别在五台机器上启动,命令前带参数JMX_PORT,五个不可重复
设置Topic名称,分区数,备份数,这里设为2备份,5分区
参考文献
http://blog.csdn.net/dhtx_wzgl/article/details/46892231
http://my.oschina.net/wangjiankui/blog/653139
host1,host2,host3搭建zookeeper集群
host1,host2,host3,host4,host5搭建kafka集群
zookeeper使用kafka中自带的
一、环境配置
kafka下载,解压,设置软链接目录 /usr/lib/
wget http://apache.fayea.com/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz tar -zxf kafka_2.11-0.10.0.0.tgz ln -s kafka_2.11-0.10.0.0 kafka
1.配置zookeeper
目录 /usr/lib/kafkavim config/zookeeper.properties
修改
dataDir=/data/zookeeper/ #zookeeper元信息路径 #maxClientCnxns=0
添加
tickTime=2000 initLimit=5 syncLimit=2 server.1=host1:2888:3888 server.2=host2:2888:3888 server.3=host3:2888:3888
在dataDir目录中添加标示
echo 1 >/data/zookeeper/myid //1对应server.1
2.配置kafka
vim config/server.properties broker.id=0(每台不一样) port=9092 host.name=host1 advertised.host.name=host1 log.dirs=/data/kafka-logs num.partitions=5 log.retention.hours=168 #topic默认保存一周
3.修改consumer 和 producer
vim /consumer.properties zookeeper.connect=host1:2181,host2:2181,host3:2181
vim /producer.properties bootstrap.servers=host1:9092,host2:9092,host3:9092,host4:9092,host5:9092
先创建好所需路径
mkdir /data/zookeeper midir /data/kafka-logs
接下来将host1中配置好的kafka复制到其它机器中,需要配置scp
二.配置机器scp
ssh-keygen -t rsa
三次回车
将生成的/root/.ssh/id_rsa.pub中的内容,粘贴到其他机器的/root/.ssh/authorized_keys中
*注意复制粘贴时检查中间是否藏了回车
其他机器 vim /etc/hosts.allow 添加
sshd :host1 :allow
之后在host1中,可以进行scp文件传输
scp -r kafka_2.11-0.10.0.0 host2:/usr/lib/
登录其他机器,修改server.properties
broker.id=1 host.name=host2 advertised.host.name=host3
创建myid
echo 2 >/data/zookeeper/myid
三.启动
zookeeper
目录:/usr/lib/kafkabin/zookeeper-server-start.sh config/zookeeper.properties &
分别在三台机器上启动,启动前两台时因连不上其他机器,可能报错,等三台机器都启动zookeeper后错误消失
kafka
目录:/usr/lib/kafkaJMX_PORT=9991 bin/kafka-server-start.sh config/server.properties & JMX_PORT=9992 bin/kafka-server-start.sh config/server.properties & JMX_PORT=9993 bin/kafka-server-start.sh config/server.properties & JMX_PORT=9994 bin/kafka-server-start.sh config/server.properties & JMX_PORT=9995 bin/kafka-server-start.sh config/server.properties &
分别在五台机器上启动,命令前带参数JMX_PORT,五个不可重复
四、UI环境搭建:
1.Kafka Manager
*下载,编译及运行 需要java8或以上git clone https://github.com/yahoo/kafka-manager cd kafka-manager ./sbt clean dist cd kafka-manager/target/universal unzip kafka-manager-1.3.0.8.zip cd kafka-manager-1.3.0.8 bin/kafka-manager
访问:host1:9000
2.Kafka Monitor
下载:
https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.1/KafkaOffsetMonitor-assembly-0.2.1.jar运行:
java -Xms1024M -Xmx1024M -Xss1024K -XX:PermSize=512m -XX:MaxPermSize=1024m -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk host1:2181,host2:2181,host3:2181 --port 8086 --refresh 10.seconds --retain 7.days > mobile-logs/stdout.log 2> mobile-logs/stderr.log &
访问:host1:8086
五、测试:
目录:/usr/lib/kafka创建Topic
在Kafka Manager中,点击Topic->create设置Topic名称,分区数,备份数,这里设为2备份,5分区
生产者
任意一台机器上bin/kafka-console-producer.sh --broker-list host1:9092,host2:9092,host3:9092,host4:9092,host5:9092 --topic test
消费者
任意一台机器上bin/kafka-console-consumer.sh --zookeeper host1:2181 --from-beginning --topic test
参考文献
http://blog.csdn.net/dhtx_wzgl/article/details/46892231
http://my.oschina.net/wangjiankui/blog/653139
相关文章推荐
- Kafka 之 中级
- RedHat 5.8 安装Oracle 11gR2_Grid集群
- mysql集群之MMM简单搭建
- MySQL的集群配置的基本命令使用及一次操作过程实录
- MySQL slave_net_timeout参数解决的一个集群问题案例
- Redis 集群搭建和简单使用教程
- Windows Server 2003 下配置 MySQL 集群(Cluster)教程
- tomcat6_apache2.2_ajp 负载均衡加集群实战分享
- Shell脚本实现自动安装zookeeper
- 基于Zookeeper的使用详解
- Linux下Kafka单机安装配置方法(图文)
- 用apache和tomcat搭建集群(负载均衡)
- Red Hat Linux,Apache2.0+Weblogic9.2负载均衡集群安装配置
- Hadoop单机版和全分布式(集群)安装
- java结合HADOOP集群文件上传下载
- Kafka使用入门教程第1/2页
- Spring3.2.0和Quartz1.8.6集群配置
- (Weblogic Portal 9.2.3集群)Oracle数据库初始化报PF_MARKUP...
- mesos + marathon + docker部署