01-0.8.2.1版本kafka单节点搭建
2017-08-17 16:16
190 查看
kafka可以不部署在hadoop框架上,直接在linux上安装即可
1、解压kafka安装包
tar -zxvf kafka-0.8.2.1.tar.gz -C /app/etl/tmp/mengchao
ln -s kafka-0.8.2.1 /app/etl/tmp/mengchao/kafka
2、修改server.properties配置文件
broker.id=1
port=9092
host.name=10.10.103.34
log.dirs=/app/etl/tmp/mengchao/kafka/logs
zookeeper.connect=10.10.103.34:2181/kafka
zookeeper.connection.timeout.ms=6000
3、创建logs目录
mkdir /app/etl/tmp/mengchao/kafka/logs
4、修改producer.properties
metadata.broker.list=10.10.103.34:9092
serializer.class=kafka.serializer.StringEncoder
5、修改consumer.properties
zookeeper.connect=10.10.103.34:2181
6、配置kafka运行的环境变量
vi /app/etl/.bashrc
export KAFKA_HOME=/app/etl/tmp/mengchao/kafka
export PATH=$KAFKA_HOME/bin:$PATH
配置成功后,执行source /app/etl/.bashrc使配置生效
7、启动kafka
进入/bin目录
nohup kafka-server-start.sh /app/etl/tmp/mengchao/kafka/config/server.properties &
jps查看kafka是否启动
8、测试kafka
a.创建topic
kafka-topics.sh --create --zookeeper 10.10.103.34:2181/kafka --replication-factor 1 --partitions 1 --topic ${topicName}
b.查看topics列表
kafka-topics.sh --list --zookeeper 10.10.103.34:2181/kafka
c.启动生产者producer
kafka-console-producer.sh --broker-list 10.10.103.34:9092 --topic ${topicName}
d.启动消费者
kafka-console-consumer.sh --zookeeper 10.10.103.34:2181/kafka --topic ${topicName} --from-beginning
在生产者机器上输入一条信息如: this is a comment
在消费者机器上观察是否能接收到此信息,若接收到说明成功
1、解压kafka安装包
tar -zxvf kafka-0.8.2.1.tar.gz -C /app/etl/tmp/mengchao
ln -s kafka-0.8.2.1 /app/etl/tmp/mengchao/kafka
2、修改server.properties配置文件
broker.id=1
port=9092
host.name=10.10.103.34
log.dirs=/app/etl/tmp/mengchao/kafka/logs
zookeeper.connect=10.10.103.34:2181/kafka
zookeeper.connection.timeout.ms=6000
3、创建logs目录
mkdir /app/etl/tmp/mengchao/kafka/logs
4、修改producer.properties
metadata.broker.list=10.10.103.34:9092
serializer.class=kafka.serializer.StringEncoder
5、修改consumer.properties
zookeeper.connect=10.10.103.34:2181
6、配置kafka运行的环境变量
vi /app/etl/.bashrc
export KAFKA_HOME=/app/etl/tmp/mengchao/kafka
export PATH=$KAFKA_HOME/bin:$PATH
配置成功后,执行source /app/etl/.bashrc使配置生效
7、启动kafka
进入/bin目录
nohup kafka-server-start.sh /app/etl/tmp/mengchao/kafka/config/server.properties &
jps查看kafka是否启动
8、测试kafka
a.创建topic
kafka-topics.sh --create --zookeeper 10.10.103.34:2181/kafka --replication-factor 1 --partitions 1 --topic ${topicName}
b.查看topics列表
kafka-topics.sh --list --zookeeper 10.10.103.34:2181/kafka
c.启动生产者producer
kafka-console-producer.sh --broker-list 10.10.103.34:9092 --topic ${topicName}
d.启动消费者
kafka-console-consumer.sh --zookeeper 10.10.103.34:2181/kafka --topic ${topicName} --from-beginning
在生产者机器上输入一条信息如: this is a comment
在消费者机器上观察是否能接收到此信息,若接收到说明成功
相关文章推荐
- 酒店管理系统_01_Servlet版本-项目搭建(引入Bootstrap)
- (大数据之hadoop)Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- 使用kubeadm搭建kubernetes集群或者单节点环境(1.9版本)
- 虚拟机下32位CentOs版本的linux下hadoop2.4.1集群搭建(3个节点版本)
- Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- Openstack 多节点搭建 (O版本)
- 分布式消息系统kafka单节点搭建
- 三节点搭建openstack-Mitaka版本
- Spark实战01:单节点本地模式搭建Spark运行环境
- [置顶] hive 单节点环境搭建指南 1.2.1版本
- 01-搭建一个4个节点的CentOS集群
- centos7下搭建 MongoDB -01
- Linux 上git远程版本库的搭建
- OpenGL学习01_Mac OS X环境搭建
- Cocos2d-JS 快速入门_01 环境搭建(Mac && Windows集合版)
- Linux操作系统Centos7.2版本搭建Apache+PHP+Mysql环境
- Linux/centos下搭建svn服务来管理版本
- 浓墨重彩之OpenStack-01- Mitaka平台搭建(先电版)
- 【JS】【Ajax原始版本】【使用dom对象获取节点】
- 搭建高可用mongo集群3.4版本