kafka安装及测试
2017-04-17 11:17
267 查看
忘记在哪里看到的但是感觉解释的很好。
zookeeper 协调转发
producers通过网络将消息发送到Kafka集群,集群向消费者提供消息
kafka对消息进行归纳,即topic,也就是说producer发布topic,consumer订阅topic
消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。
ii. 多个broker协同合作,producer、consumer和broker三者之间通过zookeeper来协调请求和转发。
iii. producer产生和推送(push)数据到broker,consumer从broker拉取(pull)数据并进行处理。 (由此可见zookeeper和kafka是密不可分的)
iv. broker端不维护数据的消费状态,提升了性能。
v. 直接使用磁盘进行存储,线性读写,速度快:避免了数据在JVM内存和系统内存之间的复制,减少耗性能的创建对象和垃圾回收。
安装zookeeper和kafka:
我的是三个虚拟机
192.168.32.129 master
192.168.32.130 slave01
192.168.32.131 slave02
1:下载zookeeper的包解压在master下的某个位置下
2:安装zookeeper:
修改conf/zoo_sample.cfg的内容 vim conf/zoo_sample.cfg
dataDir=zookeeper目录/zkdata(zookeeper 目录下建zkdata)
添加
server.1=master:2888:3888
server.2= slave01:2888:3888
server.3= slave02:2888:3888
保存退出 :wq
修改zoo_sample.cfg的文件名为zoo.cfg
形成myid文件到中看到他文件夹下输入:echo "1" > zookeeper目录/zkdata/myid
拷贝整个zookeeper文件到其他两台服务上,修改另外两份里面的 zkdata/myid文件里面 的数字,分别为2,3,zookeeper配置完成
3:安装kafka
下载,解压kafka文件在自己选定的位置
修改profile; vim /etc/profile
export KAFKA_HOME=kafka解压位置
export PATH=$PATH:$KAFKA_HOME/bin
export ZOOKEEPER_HOME=zookeeper解压位置
export PATH=$PATH:$ZOOKEEPER/bin
使修改生效 :source /etc/profile
授权:
chown -R hadoop:hadoop kafka位置
chown -R hadoop:hadoop zookeeper位置
由于zookeeper上面是集群:
所以要修改文件config/server.properties
zookeeper集群的地址,可以是多个,多个之间用逗号分割
hostname1:port1,hostname2:port2,hostname3:port3
里zookeeper.connect=192.168.32.129:2181,192.168.32.130:2181,192.168.32.131:2181
也要将kafka 复制到其他两台服务器上
启动和停止操作:全在kafka下面启动:
启动Zookeeper server:
bin/zookeeper-server-start.sh config/zookeeper.properties &
&是为了能退出命令行
启动Kafka server:
bin/kafka-server-start.sh config/server.properties &
停止Kafka server
bin/kafka-server-stop.sh
停止Zookeeper server:
bin/zookeeper-server-stop.sh
4:测试kafka,
在192.168.32.129运行producer:从文件中或者从标准输入中读取消息并发送到服务端,指定的Socket(192.168.32.129+9092),说明生产者的消息要发往kafka,也即是broker
bin/kafka-console-producer.sh --broker-list 192.168.32.129:9092 --topic test
输入要传递的文字:wwww
在192.168.32.130/131上运行consumer:consumer, 指定的Socket(192.168.32.129+2181),说明消费者的消息来自zookeeper(协调转发)
bin/kafka-console-consumer.sh --zookeeper 192.168.32.129:2181 --topic test --from-beginning
相关文章推荐
- kafka2.9.2的分布式集群安装和demo(java api)测试
- 安装和测试Kafka(转)
- Kafka 安装和测试
- 高吞吐量的分布式发布订阅消息系统Kafka--安装及测试
- Kafka分布式安装及验证测试
- Kafka 安装和测试
- Kafka_2.10-0.10.0.0安装与测试
- Kafka 安装和测试
- Kafka的安装及测试
- kafka2.9.2的分布式集群安装和demo(java api)测试
- Linux下部署Kafka分布式集群,安装与测试
- kafka windows单机安装测试
- kafka2.9.2的分布式集群安装和demo(java api)测试
- Kafka的安装配置与测试
- [bigdata] kafka集群安装及测试
- kafka 单机的安装和测试
- Storm和Kafka的集成安装和测试
- Kafka 安装和测试
- kafka_2.9.2-0.8.1.1安装、测试、集群