1 Kafka概念和架构

第一讲：概念、ZK的存储结构、Producer、Consumers流程、Kafka Broker的启动（额外）

从客户端使用角度来讲。

第二讲：从设计原理角度来讲。

Kafka属于Apache组织，是一个高性能跨语言分布式发布订阅消息队列系统[7]。它的主要特点有：

以时间复杂度O(1)的方式提供消息持久化能力，并对大数据量能保证常数时间的访问性能；

高吞吐率，单台服务器可以达到每秒几十万的吞吐速率；

支持服务器间的消息分区，支持分布式消费，同时保证了每个分区内的消息顺序；

轻量级，支持实时数据处理和离线数据处理两种方式。

1 Broker

Kafka是一个高吞吐量分布式消息系统，采用Scala和Java语言编写，它提供了快速、可扩展的、分布式、分区的和可复制的日志订阅服务。它由Producer、Broker、Consumer三部分构成，如图所示。

Producer向某个Topic发布消息，

而Consumer订阅某个Topic的消息。

一旦有某个Topic新产生的消息，Broker会传递给订阅它的所有Consumer。

，每个Topic分为多个分区，这样的设计有利于管理数据和负载均衡。

Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。

Controller：中央控制器Control，负责管理分区和副本状态并执行管理着这些分区的重新分配。（里面涉及到partition leader 选举）

ISR：同步副本组

2 Topic

在Kafka中，消息是按Topic组织的.

Partition:topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。

Segment：partition物理上由多个segment组成

offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息.

2.1 topic中partition存储分布

在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。

├── data0
│   ├── cleaner-offset-checkpoint
│   ├── client_mblogduration-35
│   │   ├── 00000000000004909731.index
│   │   ├── 00000000000004909731.log // 1G文件--Segment
│   │   ├── 00000000000005048975.index // 数字是Offset
│   │   ├── 00000000000005048975.log
│   ├── client_mblogduration-37
│   │   ├── 00000000000004955629.index
│   │   ├── 00000000000004955629.log
│   │   ├── 00000000000005098290.index
│   │   ├── 00000000000005098290.log
│   ├── __consumer_offsets-33
│   │   ├── 00000000000000105157.index
│   │   └── 00000000000000105157.log
│   ├── meta.properties
│   ├── recovery-point-offset-checkpoint
│   └── replication-offset-checkpoint

cleaner-offset-checkpoint:存了每个log的最后清理offset

meta.properties: broker.id 信息

recovery-point-offset-checkpoint:表示已经刷写到磁盘的记录。recoveryPoint以下的数据都是已经刷到磁盘上的了。

replication-offset-checkpoint: 用来存储每个replica的HighWatermark的(high watermark (HW)，表示已经被commited的message，HW以下的数据都是各个replicas间同步的，一致的。)

这些都是归于

LogManager

使用。

[huangqiang@yz4098 data1]$ cat cleaner-offset-checkpoint
0
0
[huangqiang@yz4098 data1]$ cat recovery-point-offset-checkpoint
0
2
__consumer_offsets 23 148062
client_mblogduration 1 6244035
[huangqiang@yz4098 data1]$ cat replication-offset-checkpoint
0
2
__consumer_offsets 23 148062
client_mblogduration 1 6244092

2.2 partiton中文件存储方式

每个partion(目录)由多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等，这种特性方便old segment file快速被删除。

每个partiton只需要支持顺序读写就行了，segment文件生命周期由服务端配置参数决定。

[huangqiang@yz4098 kafka]$ ll -ah data9/client_mblogduration-18/
-rw-rw-r-- 1 kafka kafka  607K Nov 21 22:33 00000000000005046268.index
-rw-rw-r-- 1 kafka kafka  1.0G Nov 21 22:33 00000000000005046268.log
-rw-rw-r-- 1 kafka kafka  590K Nov 22 12:26 00000000000005188203.index
-rw-rw-r-- 1 kafka kafka  1.0G Nov 22 12:26 00000000000005188203.log

2.3 partiton中segment文件存储结构

partion中segment file组成和物理结构。

segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀".index"和“.log”分别表示为segment索引文件、数据文件.

segment文件命名规则：partion全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小，19位数字字符长度，没有数字用0填充。

以一对segment file文件为例，说明segment中index<—->data file对应关系物理结构如下



Index文件存储大量元数据，指向对应log文件中message的物理偏移地址。

log数据文件存储大量消息

其中以Index文件中元数据

3,497

为例，依次在数据文件中表示第3个message(在全局partiton表示第368772个message)、以及该消息的物理偏移地址为497。

下面看看segment data file的内部

segment data file由许多message组成，下面详细说明message物理结构如下：

关键字	解释说明
8 byte offset	该message在partition的offset
4 byte message size	message大小
4 byte CRC32	用crc32校验message
1 byte "magic"	表示本次发布Kafka服务程序协议版本号
1 byte "attributes"	表示为独立版本、或标识压缩类型、或编码类型。
4 byte key length	表示key的长度,当key为-1时，K byte key字段不填
K byte key	可选
value bytes payload	表示实际消息数据。

2.4 在partition中如何通过offset查找message

例如读取o

ffset=368776

的message，需要通过下面2个步骤查找。

第一步查找segment file

上述图2为例，其中00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.同样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其他后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset 二分查找文件列表，就可以快速定位到具体文件。

当

offset=368776时定位到00000000000000368769.index|log

第二步通过segment file查找message

通过第一步定位到segment file，当

offset=368776

时，依次定位到

00000000000000368769.index

的元数据物理位置（这个较小，可以放在内存中，直接操作）和

00000000000000368769.log

的物理偏移地址，然后再通过00000000000000368769.log 顺序查找 直到offset=368776为止。

从上述图2.3节可知这样做的优点，segment index file采取稀疏索引存储方式，它减少索引文件大小，通过map可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

2.5 读写message总结

写message

消息从java堆转入page cache(即物理内存)。

由异步线程刷盘,消息从page cache刷入磁盘。

读message

消息直接从page cache转入socket发送出去。

当从page cache没有找到相应数据时，此时会产生磁盘IO,从磁

盘Load消息到page cache,然后直接从socket发出去

Kafka高效文件存储设计特点

topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。

通过索引信息可以快速定位message和确定response的最大大小。

通过index元数据全部映射到memory，可以避免segment file的IO磁盘操作。

通过索引文件稀疏存储，可以大幅降低index文件元数据占用空间大小。

3 Producer

同步、异步

4 Consumer

Partition

ConsumerGroup和Consumer

Coordinator