初识Kafka----个人理解，希望对喜欢kafka的朋友有帮助

1、什么是kafka?
kafka是一个发布订阅系统，主要用作缓存
2、核心概念
首先kafka是一个集群，有很多个节点组成。
Broker['brəʊkə]:节点名称每一个节点称作broker
message
 ['mesɪdʒ】:就是指发布到kafka的每一条记录。

Message queue:消息队列
Topic

['tɒpɪk]:就是主题，意思是一类消息。我们发送消息时必须指明主题，它可以是订单topic/日志topic。
partition:分区。一个topic可以有多个partition[一个message只能属于一个topic中的某一个partition。目的是为了让同一个topic的数据分散到不同的broker上，实现负载均衡]
例如：订单topic可以按照ip分为不同的partition，一个partition中的数据在一个broker中存储
repilca

 ['rɛplɪkə]:相当于把topic的内部消息存放多分在不同的broke上，相当于备份，保证数据的安全
producer:生产者，负责发布消息到kafka的broker
consumer[kən'sjuːmə]:消费者
指订阅消息。
offset(偏移量):偏移量实际上就是数据的索引，类似于数组中的下标；而在kafka中偏移量则指行号。

3.安装kafka

第一：在使用kafka时先有zookeeper的存在；

安装zooke
d558
eper-3.4.5.tar.gz上传到linux上

tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop

mv zookeeper-3.4.5.tar.gz zookeeper

cd /hadoop/zookeeper/conf

mv zoo-s...cfg zoo.cfg

1步：dataDir=/hadoop/zookeeper/data

2步：添加

ckTime=2000

initLimit=10

syncLimit=5

clientPort=2181

在zookeeper下mkdir data--->vi myid--->1 2 3

./zkS...sh start

第二：上传kafka_2.11-0.8.2.2.tgz

tar -zxvf kafka_2.11-0.8.2.2.tgz -C /hadoop

cd  kafka_2.11-0.8.2.2

配置环境变量

vi /etc/profile  

 export KAFKA_HOME=/hadoop/kafka_2.11-0.8.2.2  

export PATH=$PATH:$KAFKA_HOME/bin 

 配置文件server.properties 主要参数

broker.id=115  

host.name=192.168.8.115  

advertised.host.name=192.168.8.115

num.partitions=2  

log.dirs=/hadoop/zookeeper/kafka-logs  [自己创建的存放kafka日志的文件路径]

zookeeper.connect=192.168.8.115:2181

启动服务 之前确保zookeeper 服务是启动的

                 ./bin/kafka-server-start.sh config/server.properties &

这时jps呈现的结果如下：