kafka集群维护
2016-09-14 16:54
183 查看
kafka集群基本信息实时查看和修改:
集群信息实时查看(topic工具)
kafka-topics,sh --list --zookeeper x.x.x.x
kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name
集群信息实时修改(topic工具)
提高topic并发,通过增加topic的partition数来解决。
现在我们搭建了一个集群,怎么知道每个节点的信息呢?运行“"describe topics”命令就可以了:
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
下面解释一下这些输出。第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。
leader:负责处理消息的读和写,leader是从所有节点中随机选择的.
replicas:列出了所有的副本节点,不管节点是否在服务中.
isr:是正在服务中的节点.
kafka集群leader 平衡机制
集群机器会上下线
集群分区日志迁移:
1、写jason文件,将需要迁移的topic写入。
疑问:
1个topic有多个分区,是否每个分区都都是一份完整的日志。
partitions的设计目的有多个.最根本原因是kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.此外越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.(具体原理参见下文).
个人理解: producer生成日志并推送到对应topic上,topic 按照partition将日志分散。
每个topic有一个broker 作为leader,负责读写,同时其他机器从leader进行同步。
2、 broker 为集群中的机器实例,对应topic的 leader 值为broker机器的id,负责读写操作。
集群信息实时查看(topic工具)
kafka-topics,sh --list --zookeeper x.x.x.x
kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name
集群信息实时修改(topic工具)
提高topic并发,通过增加topic的partition数来解决。
现在我们搭建了一个集群,怎么知道每个节点的信息呢?运行“"describe topics”命令就可以了:
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
下面解释一下这些输出。第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。
leader:负责处理消息的读和写,leader是从所有节点中随机选择的.
replicas:列出了所有的副本节点,不管节点是否在服务中.
isr:是正在服务中的节点.
kafka集群leader 平衡机制
集群机器会上下线
集群分区日志迁移:
1、写jason文件,将需要迁移的topic写入。
疑问:
1个topic有多个分区,是否每个分区都都是一份完整的日志。
partitions的设计目的有多个.最根本原因是kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.此外越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.(具体原理参见下文).
个人理解: producer生成日志并推送到对应topic上,topic 按照partition将日志分散。
每个topic有一个broker 作为leader,负责读写,同时其他机器从leader进行同步。
2、 broker 为集群中的机器实例,对应topic的 leader 值为broker机器的id,负责读写操作。
相关文章推荐
- Kafka消息处理与集群维护
- 大数据_Kafka_Kafka的常用指令 与 集群维护
- kafka集群维护
- kafka集群安装及管理(一)
- kafka跨集群同步方案
- kafka集群部署以及java客户端测试
- kafka集群部署以及java客户端测试
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- centos7下kafka集群安装部署
- zookeeper+kafka集群搭建
- zookeeper+kafka集群搭建
- [置顶] Kafka集群Cenos6.5搭建
- kafka集群搭建和使用Java写kafka生产者消费者
- kafka集群搭建部署测试
- Kafka简单集群
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
- 集群通信组件Tribes之怎样维护集群成员信息
- Zookeeper3.4.6与Kafka0.8.1.1集群安装和配置详细步骤
- 【转载】Rocks集群系统(cluster)的安装与管理维护
- kafka集群扩容以及数据迁移