kafka集群的搭建
2016-05-29 01:58
351 查看
1. Kafka下载:
wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz 解压 tar zxvf kafka_2.9.2-0.8.1.tgz
(2.9.2为scala的版本 0.8.1为kafka地址)
2.下载安装sbt:
wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm (有时候下载不了可以到http://dl.bintray.com/sbt/rpm/ 手工下载对应版本)
安装 yum install -y sbt-0.13.1.rpm 或者 rpm -ivh sbt-0.13.1.rpm(which sbt 可以测试环境变量有没)
tar -xvzf kafka_2.9.2-0.8.1.tgz 解压
cd kafka_2.9.2-0.8.1.tgz
sbt update(比较慢)
完成后sbt package
到kafka_2.9.2-0.8.1 的解压目录下面的conf配置 配置文件
1.server.properties (企业通常会修改下图几项)
log.dirs=/opt/soft/kafka/kafka_2.9.2-0.8.1/logs(日志目录。目录自己创建)
zookeeper.connect=master:2181,slave1:2181(对应自己的host 没配置就用IP 配置上集群机器)
producer.properties
metadata.broker.list=master:9092,slave1:9092
consumer.properties
zookeeper.connect=master:2181,slave1:2181
安装配置完成。
同样再配置别的机器比如slave1。
需要scp 配置文件过去 然后server.properties 的broker.id=0要修改为1,和创建下logs的保存文件夹(记得)
启动和测试kafka
1 启动集群zookeeper
cd 到bin目录下 ./kafka-server-start.sh ../config/server.properties 启动kafka进程(master,slave1都启动)
启动成功的话会看到:
启动成功后可以通过jps查看当前挂起的kafka进程
35954 Jps
33829 QuorumPeerMain
35431 Kafka
2452 Main
2.创建kafkatoipc和为其指定partition命令
kafka-topics.sh --zookeeper master:2181,slave1:2181 --topic track_log --replication-factor 2 --partitions 2 --creat
出现‘Created topic "track_log".’即为成功
启动kafka后在zookeeper中可以看到borker目录
查看topic明细
kafka-topics.sh --topic track_log --describe --zookeeper master:2181,slave1:2181
此时leader是相对于border来讲的(每个分区也必须选择出一个leader)
测试生产和消费可以使用命令
kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic track_log
键入值得
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181 --topic track_log --from-beginning
printf消费的值
wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz 解压 tar zxvf kafka_2.9.2-0.8.1.tgz
(2.9.2为scala的版本 0.8.1为kafka地址)
2.下载安装sbt:
wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm (有时候下载不了可以到http://dl.bintray.com/sbt/rpm/ 手工下载对应版本)
安装 yum install -y sbt-0.13.1.rpm 或者 rpm -ivh sbt-0.13.1.rpm(which sbt 可以测试环境变量有没)
tar -xvzf kafka_2.9.2-0.8.1.tgz 解压
cd kafka_2.9.2-0.8.1.tgz
sbt update(比较慢)
完成后sbt package
到kafka_2.9.2-0.8.1 的解压目录下面的conf配置 配置文件
1.server.properties (企业通常会修改下图几项)
log.dirs=/opt/soft/kafka/kafka_2.9.2-0.8.1/logs(日志目录。目录自己创建)
zookeeper.connect=master:2181,slave1:2181(对应自己的host 没配置就用IP 配置上集群机器)
producer.properties
metadata.broker.list=master:9092,slave1:9092
consumer.properties
zookeeper.connect=master:2181,slave1:2181
安装配置完成。
同样再配置别的机器比如slave1。
需要scp 配置文件过去 然后server.properties 的broker.id=0要修改为1,和创建下logs的保存文件夹(记得)
启动和测试kafka
1 启动集群zookeeper
cd 到bin目录下 ./kafka-server-start.sh ../config/server.properties 启动kafka进程(master,slave1都启动)
启动成功的话会看到:
启动成功后可以通过jps查看当前挂起的kafka进程
35954 Jps
33829 QuorumPeerMain
35431 Kafka
2452 Main
2.创建kafkatoipc和为其指定partition命令
kafka-topics.sh --zookeeper master:2181,slave1:2181 --topic track_log --replication-factor 2 --partitions 2 --creat
出现‘Created topic "track_log".’即为成功
启动kafka后在zookeeper中可以看到borker目录
查看topic明细
kafka-topics.sh --topic track_log --describe --zookeeper master:2181,slave1:2181
此时leader是相对于border来讲的(每个分区也必须选择出一个leader)
测试生产和消费可以使用命令
kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic track_log
键入值得
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181 --topic track_log --from-beginning
printf消费的值
相关文章推荐
- logAB = logA + logB; A,B>0
- SQL性能调优
- 欢迎使用CSDN-markdown编辑器
- 大数据Java基础第十三天作业
- linux下开启Mysql开启远程连接
- Your build settings specify a provisioning profile with the UUID “”, however, no such provisioning p
- HDU5709 : Claris Loves Painting
- Java 网络IO编程总结(BIO、NIO、AIO均含完整实例代码)
- Java 网络IO编程总结(BIO、NIO、AIO均含完整实例代码)
- 自动装配引起的Spring注入错误
- 解读mysql主从配置及其原理分析(Master-Slave)
- 21. Merge Two Sorted Lists [easy] (Python)
- 小微企业如何开拓人工智能业务?
- Foundation框架—字典NSDictionary 可变和不可变
- 四种生成和解析XML文档的方法详解(介绍+优缺点比较+示例)
- 【Debug】1>uafxcwd.lib(afxmem.obj) : error LNK2005: "void * __cdecl operator new
- phpMyAdmin - 错误 您应升级到 MySQL 5.5.0 或更高版本,解决办法。。。
- 自寅舍得分享:QQ空间认证是真的?
- RelativeLayout各个属性
- AJAX