Kafka 学习笔记(五)之Kafka Trouble Shooting (上)
2015-07-11 08:00
375 查看
Kafka Trouble Shooting
前几篇写的客户端是使用,实在理想状态下的,没有错误。然而,理想很丰满,现实很骨感啊!Kafka一个最大的麻烦就是会遇到各种错误,exception会夹杂在大量的background noise中,很难定位错误。(这让我觉得Kafka特别不成熟,但是鉴于想linkedin这种大公司都在用这个呢,我们就忍忍吧。。。)今天我们来看看kafka的各种exception和他们都是什么意思。
1. producer can not connect to Kafka
--kafka.common.KafkaException: fetching topic metadata for topics [Set(t1)] from broker [ArrayBuffer(id:0, host:localhost, port:9092)] failed
Caused by: java.net.ConnectException: connection failed.
问题可能原因:
查看host 和 port, 在brokerlist
telnet查看网络状况
最后一个可能的原因多发生在virtual network 的情况下,例如我们用的主机是Amazon AWS。AWS的主机在server内部用一个地址,但是外部看主机的时候用的是另外一个地址,所以当broker advertise它们自己的时候,可能用的是内部地址。Broker may register with the wrong host, 用advertised.host 来解决。把advertised.host 注释掉,然后用能从外部链接上你主机的地址,看好host 和 port。
2. producer LeaderNotAvailable Error
-- Warn Error while fetching metadata, no partition metadata for topic t1 due to
kafka.common.LeaderNotAvailableException
问题可能原因:
是否Create the topic
auto.create.topic,enble=true?true的时候,在写入一个不存在的topic是会自动create topic,但是,leader的configure会滞后一点儿,需要等一会儿
等待retry,kafka会从replication 里选择leader
default.replication.factor 要比broker的数量少,不然topic创建不了
kafka-topics.sh --zookeeper localhost:2181 --describe, 查看broker list 看看leader是否存在
3. topic is not deleted
这个是我最头疼的问题,研究了好久,都没能成功删除topic,后来急了,不用命令了,直接手动去文件夹里删除topic文件了,都没删除了。。。
删除delete,然后就没有然后了,啥也没发生。。。
--delete命令执行完了,永远的 marked for deletion
当时删除了,在重启,又出现了,简直没法删除,跟年糕一样
可能原因:
0.8.2.0版本之前kafka没有删除topic的功能
如果是mark for deletion,过几个小时还没删除掉的话,去config里,server.properties 将delete.topic.enable 设置为true
如果还是不行,auto.create.topic.enable的话,删掉了之后,client得到metadata后会再create出来,所以要distable
4. Consumer 得不到data
可能原因:
没有可用消息
default设置,Consumer只接收新消息(offset 默认largest)
消息长度大于fetch.message.max.bytes
consumer 的code没写对,可能接收了,没print出来一类的
查看offset设置,如何查看呢:
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
用法 :bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --broker-info --group avg --zookeeper localhost:2181
前几篇写的客户端是使用,实在理想状态下的,没有错误。然而,理想很丰满,现实很骨感啊!Kafka一个最大的麻烦就是会遇到各种错误,exception会夹杂在大量的background noise中,很难定位错误。(这让我觉得Kafka特别不成熟,但是鉴于想linkedin这种大公司都在用这个呢,我们就忍忍吧。。。)今天我们来看看kafka的各种exception和他们都是什么意思。
1. producer can not connect to Kafka
--kafka.common.KafkaException: fetching topic metadata for topics [Set(t1)] from broker [ArrayBuffer(id:0, host:localhost, port:9092)] failed
Caused by: java.net.ConnectException: connection failed.
问题可能原因:
查看host 和 port, 在brokerlist
telnet查看网络状况
最后一个可能的原因多发生在virtual network 的情况下,例如我们用的主机是Amazon AWS。AWS的主机在server内部用一个地址,但是外部看主机的时候用的是另外一个地址,所以当broker advertise它们自己的时候,可能用的是内部地址。Broker may register with the wrong host, 用advertised.host 来解决。把advertised.host 注释掉,然后用能从外部链接上你主机的地址,看好host 和 port。
2. producer LeaderNotAvailable Error
-- Warn Error while fetching metadata, no partition metadata for topic t1 due to
kafka.common.LeaderNotAvailableException
问题可能原因:
是否Create the topic
auto.create.topic,enble=true?true的时候,在写入一个不存在的topic是会自动create topic,但是,leader的configure会滞后一点儿,需要等一会儿
等待retry,kafka会从replication 里选择leader
default.replication.factor 要比broker的数量少,不然topic创建不了
kafka-topics.sh --zookeeper localhost:2181 --describe, 查看broker list 看看leader是否存在
3. topic is not deleted
这个是我最头疼的问题,研究了好久,都没能成功删除topic,后来急了,不用命令了,直接手动去文件夹里删除topic文件了,都没删除了。。。
删除delete,然后就没有然后了,啥也没发生。。。
--delete命令执行完了,永远的 marked for deletion
当时删除了,在重启,又出现了,简直没法删除,跟年糕一样
可能原因:
0.8.2.0版本之前kafka没有删除topic的功能
如果是mark for deletion,过几个小时还没删除掉的话,去config里,server.properties 将delete.topic.enable 设置为true
如果还是不行,auto.create.topic.enable的话,删掉了之后,client得到metadata后会再create出来,所以要distable
4. Consumer 得不到data
可能原因:
没有可用消息
default设置,Consumer只接收新消息(offset 默认largest)
消息长度大于fetch.message.max.bytes
consumer 的code没写对,可能接收了,没print出来一类的
查看offset设置,如何查看呢:
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
用法 :bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --broker-info --group avg --zookeeper localhost:2181