Kafka源码的编译(0.8.2.1)
2015-10-14 10:07
267 查看
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache
Storm、Spark都支持与Kafka集成。
Kafka源码很少,就两个主要的包,kafka-core, kafka-client。它主要由几个部分组成:
Broker
Kafka集群包含一个或多个服务器,这种服务器被称为broker
Topic
每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
Partition
Parition是物理上的概念,每个Topic包含一个或多个Partition.
Producer
负责发布消息到Kafka broker
Consumer
消息消费者,向Kafka broker读取消息的客户端。
Consumer Group
每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group
name,若不指定group name则属于默认的group)。
采用编译环境:scala IDE +Scala 2.10.5 +
Winy
欢迎交流学习,邮箱号:sparkexpert@sina.com
Storm、Spark都支持与Kafka集成。
Kafka源码很少,就两个主要的包,kafka-core, kafka-client。它主要由几个部分组成:
Broker
Kafka集群包含一个或多个服务器,这种服务器被称为broker
Topic
每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
Partition
Parition是物理上的概念,每个Topic包含一个或多个Partition.
Producer
负责发布消息到Kafka broker
Consumer
消息消费者,向Kafka broker读取消息的客户端。
Consumer Group
每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group
name,若不指定group name则属于默认的group)。
采用编译环境:scala IDE +Scala 2.10.5 +
Winy
欢迎交流学习,邮箱号:sparkexpert@sina.com
相关文章推荐
- 搜狗引擎查询日志的数据入库(Mysql…
- Sqoop源码编译与分析(V1.4.6)
- Tachyon 0.7.1源码的编译
- SparkV1.5源码编译版通过
- php文件写入PHP_EOL与FILE_APPEND
- Swift 开源项目精选
- FusionCharts的使用方法
- Dubbo架构设计详解
- GPRS技术在紫金桥组态软件中的应用
- Bash的环境配置文件
- Web串口读取数据
- 以一种访问权限不允许的方式做了一个访问套接字的尝试。
- TCP/IP协议三次握手与四次握手流程解析
- 【Linux高频命令专题(19)】vi/vim
- 电脑取随机数是什么原理,是真正的随机数吗?转自知乎.
- Python运算符,python入门到精通[五]
- mysql 复制问题一
- gitlab或github下,a开发者fork了b开发者的项目后,如果b开发人员更新代码后,a开发者如何获得更新?
- 枚举Java 语言中 Enum 类型的使用介绍
- ADO.NET入门教程(三) 连接字符串,你小觑了吗?