Kafka分布式安装及验证测试
2016-04-01 09:25
302 查看
一、安装
Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。
(一)、Kafka下载地址:http://mirrors.hust.edu.cn/apache/kafka/,你可以选择你需要的版本,如下:
我选择的是Kafka0.9.0.1版本,如下:
(二)Kafka安装步骤
1、解压
执行tar命令,如下:
解压后目录如下:
其中,bin目录如下:
config目录如下:
2、修改参数配置
编辑config/server.properties文件,如下:
修改的参数包括:
2.1、ZooKeeper连接地址:zookeeper.connect
2.2、Broker的ID:broker.id(每个Broker保持唯一,可从0开始递增编号)
2.3、主机名:host.name
2.4、分区数目:num.partitions
2.5、日志地址:log.dirs
3、启动
执行命令:JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties &
4、停止
执行停止命令bin/kafka-server-stop.sh报错,如下:
所以,我们不得不通过直接kill进程的命令来停止Kafka,如下:
先查找进程号
再直接kill
二、验证测试
进入kafka根目录
1、创建topic
bin/kafka-topics.sh -zookeeper server3:2181 -topic testtopic -replication-factor 2 -partitions 5 -create
2、查看topic
bin/kafka-topics.sh -zookeeper server3:2181 -list
其中,test为之前所创建的topic,已被删除,所以后面标注为:marked for deletion
3、创建producer
bin/kafka-console-producer.sh -broker-list server2:9092,server3:9092 -topic testtopic
4、创建consumer
bin/kafka-console-consumer.sh -zookeeper server3:2181 - from-begining -topic testtopic
5、producer发布
6、consumer订阅
可以看到,producer发布了三条消息,分别为"wo shi zhong guo ren"、"dududu"、"hahaha",而consumer收到了三条一样的消息,验证测试完毕,Kafka已正确安装并成功运行!
Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。
(一)、Kafka下载地址:http://mirrors.hust.edu.cn/apache/kafka/,你可以选择你需要的版本,如下:
我选择的是Kafka0.9.0.1版本,如下:
(二)Kafka安装步骤
1、解压
执行tar命令,如下:
解压后目录如下:
其中,bin目录如下:
config目录如下:
2、修改参数配置
编辑config/server.properties文件,如下:
修改的参数包括:
2.1、ZooKeeper连接地址:zookeeper.connect
2.2、Broker的ID:broker.id(每个Broker保持唯一,可从0开始递增编号)
2.3、主机名:host.name
2.4、分区数目:num.partitions
2.5、日志地址:log.dirs
3、启动
执行命令:JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties &
4、停止
执行停止命令bin/kafka-server-stop.sh报错,如下:
所以,我们不得不通过直接kill进程的命令来停止Kafka,如下:
先查找进程号
再直接kill
二、验证测试
进入kafka根目录
1、创建topic
bin/kafka-topics.sh -zookeeper server3:2181 -topic testtopic -replication-factor 2 -partitions 5 -create
2、查看topic
bin/kafka-topics.sh -zookeeper server3:2181 -list
其中,test为之前所创建的topic,已被删除,所以后面标注为:marked for deletion
3、创建producer
bin/kafka-console-producer.sh -broker-list server2:9092,server3:9092 -topic testtopic
4、创建consumer
bin/kafka-console-consumer.sh -zookeeper server3:2181 - from-begining -topic testtopic
5、producer发布
6、consumer订阅
可以看到,producer发布了三条消息,分别为"wo shi zhong guo ren"、"dududu"、"hahaha",而consumer收到了三条一样的消息,验证测试完毕,Kafka已正确安装并成功运行!
相关文章推荐
- select,poll,epoll简介
- OpenGL
- C++书籍推荐
- Ralink RT5350简介
- 综合归纳:PHP中empty()、is_null()和isset()的区别
- C++对象的内存模型
- 自学java的故事
- iOS 计算字符串高度
- 如何引用传递String Boolean 等,并改变他们的值
- sql server char nchar nvarchar varchar之間的區別
- iOS微博项目(二)
- 读《构建之法-软件工程》第四章“两人合作”有感
- CodeForces 653D Delivery Bears(网络流)
- java.util.concurrent.CyclicBarrier
- [置顶] Android开发之获取APP的应用程序名称以及版本名称信息java工具类
- 在HTML中URL、src、href分别代表什么?如何使用?
- opencv像素操作之Point转Mat
- 通过代码看MAVLink协议 (一)
- android: 播放音频
- LINUX centos 7 ifconfig 无效