kafka集群搭建文档
2017-08-23 10:08
134 查看
kafka集群搭建文档
注意这里最好下载scala2.10版本的kafka,因为scala2.10版本的兼容性比较好和2.11版本差别太大
通过命令 tar –zxvf kafka_2.10-0.9.0.1.tgz解压
配置broker.id从0开始,后面其他节点配置1,2,3,4等等
事先启动zookeeper集群,这里配置zookeeper集群的地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181
将集群分发到其他机器,比如
scp -r kafka_2.10-0.9.0.1 root@slave1:/opt/sxt/soft/
scp -r kafka_2.10-0.9.0.1 root@slave2:/opt/sxt/soft/
这里注意修改broker.id
修改完配置以后在每个节点启动kafka
bin/kafka-server-start.sh config/server.properties
./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -topic test -replication-factor 2 -partitions 5 –create
查看当前的topic
./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -list
在一个节点创建一个provider
./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test
在另外一个节点创建一个consumer
./bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning -topic test
在provider输入信息,在consumer能接收到信息
一. 下载解压
从官网下载Kafka,下载地址http://kafka.apache.org/downloads.html注意这里最好下载scala2.10版本的kafka,因为scala2.10版本的兼容性比较好和2.11版本差别太大
通过命令 tar –zxvf kafka_2.10-0.9.0.1.tgz解压
二.配置启动
配置config/server.properties配置broker.id从0开始,后面其他节点配置1,2,3,4等等
事先启动zookeeper集群,这里配置zookeeper集群的地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181
将集群分发到其他机器,比如
scp -r kafka_2.10-0.9.0.1 root@slave1:/opt/sxt/soft/
scp -r kafka_2.10-0.9.0.1 root@slave2:/opt/sxt/soft/
这里注意修改broker.id
修改完配置以后在每个节点启动kafka
bin/kafka-server-start.sh config/server.properties
三.测试
新建一个topic./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -topic test -replication-factor 2 -partitions 5 –create
查看当前的topic
./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -list
在一个节点创建一个provider
./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test
在另外一个节点创建一个consumer
./bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning -topic test
在provider输入信息,在consumer能接收到信息
相关文章推荐
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- kafka集群搭建
- Kafka 集群搭建
- 搭建kafka集群
- kafka集群搭建和使用Java写kafka生产者消费者
- ridis集群搭建部署详细文档
- kafka集群搭建
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
- kafka集群的搭建
- Kafka集群搭建
- linux 搭建 kafka集群
- zookeeper+kafka集群搭建
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- kafka集群搭建
- 5)kafka集群搭建
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- kafka - zookeeper 集群搭建
- 一脸懵逼学习KafKa集群的安装搭建--(一种高吞吐量的分布式发布订阅消息系统)