Kafka 生产消费 Avro 序列化数据
2017-01-17 23:33
295 查看
![](http://unmi.cc/wp-content/uploads/2016/10/kafka-logo-150x150.png)
本文实践了如何连接 Kafka 生产和消费 Avro 序列化格式的数据, 不能像 NgAgo-gDNA 那样, 为保证实验内容及结果的可重复性, 文中所用的各中间件和组件版本如下:
Apache Kafka: kafka_2.11-0.10.0.1,
这个版本在初始始化生产者消费者的属性与之前版本有所不同.
kafka-clients: Java API 客户端, 版本为 0.10.0.1
Apache Avro: 1.8.1. 关于 Avro 序列化的内容可参见 Apache
Avro 序列化与反序列化 (Java 实现)
Java 8
Apache Kafka 消息系统设计为可以传输字符串, 二进制等数据, 但直接用于传输生产消费两端都能理解的对象数据会更友好. 所以我们这里用 Avro 的 Schema 来定义要传输的数据格式, 通信时采用自定义的序列化和反序列化类进行对象与字节数组间的转换.
以下是整个实验过程
本地启动 Apache Kafka 服务
请参考 简单搭建 Apache Kafka 分布式消息系统 启动ZooKeeper 和 Kafka 即可. 程序运行会自动创建相应的主题. 启动后 Kafka 开启了本地的 9092 端口, 程序中只需要连接这个端口, 不用管 ZooKeeper 的 2181 端口. 阅读全文
>>
相关文章推荐
- Kafka 使用Java实现数据的生产和消费demo
- Kafka利用Java实现数据的生产和消费实例教程
- Kafka 使用Java实现数据的生产和消费demo
- JAVA代码之RocketMQ生产和消费数据
- Kafka消息生产消费的一个java小案例(伪分布)
- kafka java 生产消费demo
- kafka java 生产消费程序demo示例
- 初识Kafka:构架、生产消费模型以及其他相关概念
- 2016年大数据Spark“蘑菇云”行动之spark streaming消费flume采集的kafka数据Directf方式
- kafka消费数据存入elasticsearch代码示例
- kafka java 生产消费程序demo示例
- 关于kafka重新消费数据问题
- 一个完整的Avro数据序列化例子
- Flume简介与使用(三)——Kafka Sink消费数据之Kafka安装
- kafka java 生产消费程序demo示例
- sparkstreaming消费kafka中的数据
- 初识Kafka:构架、生产消费模型以及其他相关概念
- Storm-Kafka模块常用接口分析及消费kafka数据例子
- Avro技术应用_5. 利用 Camus 来将 Avro 数据从 Kafka 拷贝到 HDFS -- 待完善
- kafka中写入avro数据