Kafka分布式消息系统


什么是Apache kafka？
    
系统应用用户的活动数据、请求数据、交互数据、运行维护数据如性能监测、服务器CPU指标这些大量的数据都在无时无刻的产生，Kafka便是有着一套成熟的消息处理方案的消息系统，支持高吞吐量的分布式发布订阅消息模式，它可以处理消费者规模的网站中的所有动作流数据。也是Apache的顶级开源框架。

应用领域

    
已被多家公司用作多类型的数据管道和消息系统，如淘宝、支付宝、百度等；并且一些大数据计算框架如笔者前面介绍的storm、spark都支持与kafka的集成。主要应用场景是kafka作为消息接受系统，将负责接收大量数据，传输给storm进行数据计算处理。



     具体在项目中的应用部署，kafka主要应用在数据计算框架和客户端请求中间，前端程序将消息push到Kafka
服务器集群的某一broker中，通过订阅模式，数据处理框架从Kafka中获取数据进行计算。

Kafka相关概念

AMQP协议：
    
Advanced Message Queuing Protocol，高级消息队列协议提供了消息交互规范，它和kafka或这rabbitMQ、activeMQ的关系就类如JPA规范和hibernate以及多个实现JPA规范的持久层框架一样。
kafka架构：
    
Producer：消息生产者，负责发布消息到Kafka
broker
    
Broker ：Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
    
Consumer：消息消费者，向Kafka
broker读取消息。



kafka的消息分两个层次：
Topic：
     Kafka将消息以topic为单位进行组织。如同生活中我们将消息分类为娱乐消息、体育消息、财经消息，kafka将一种消息类别组织为一个topic，一般系统以不同业务将消息进行topic划分。
Partition：
    
一个topic中的消息数据按照多个分区进行组织，分区是kafka消息队列的最小组织单位。按照先进先出FIFO队列进行消息管理。

Kafka消息处理流程