kafka 札记-----kafka producer 端 发送数据分为 同步(实时)和异步(达到设定发送条件)
2014-10-09 14:31
507 查看
kafka producer 端 发送数据分为 同步(实时)和异步(达到设定发送条件)
异步发送相关参数
producer.type async/sync 默认是sync
当满足以下其中一个条件的时候就触发 发送
batch.num.messages 异步发送 每次批量发送的条目
queue.buffering.max.ms 异步发送的时候 发送时间间隔 单位是毫秒
一些相关参数
queue.buffering.max.messages 每次最大的提交量
queue.buffering.max.messages 的数量 0 表示立即体检 如果队列满了之后就删除 -1 则满了也不会删除 默认是-1
send.buffer.bytes 缓冲区大小
参数可以参考
http://kafka.apache.org/08/configuration.html
异步发送相关参数
producer.type async/sync 默认是sync
当满足以下其中一个条件的时候就触发 发送
batch.num.messages 异步发送 每次批量发送的条目
queue.buffering.max.ms 异步发送的时候 发送时间间隔 单位是毫秒
一些相关参数
queue.buffering.max.messages 每次最大的提交量
queue.enqueue.timeout.ms | -1/0 如果批量信息已经达到 |
send.buffer.bytes 缓冲区大小
参数可以参考
http://kafka.apache.org/08/configuration.html
相关文章推荐
- kafka异步发送数据,不阻塞
- kafka producer consumer 实时读数据
- Mysql 实时数据同步到 kafka、hdfs
- [转载]XMLHTTP同步与异步发送数据
- 数据采集之解析Mysql的binlog日志发送至Kafka实时消费
- Kafka源码分析之KafkaProducer发送数据send()方法
- python kafka producer consumer redis数据从kafka发送写人redis
- 利用Maxwell组件实时监听Mysql的binlog日志,并且把解析的json格式数据发送到kafka窗口供实时消费
- Kafka-ProducerRecord的异步发送过程-上半部
- Kafka Producer异步发送的流程
- Kafka Producer同步模式发送message源码分析
- MySQL数据实时增量同步到Kafka - Flume
- 异步SOCKET编程-发送和接收数据[转]
- 通过异步方式发送和接收数据(tcp异步收发数据)
- DataRabbit 轻量的数据访问框架(20)-- 实时同步的实体缓存 SyncEntityCache
- Linux下的实时数据同步
- 通过事件达到同步向应用层传输数据的方法。
- SerialPort同步和异步数据读取(二)
- SerialPort同步和异步数据读取
- 异步SOCKET编程-发送和接收数据