SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常
2017-06-07 16:17
417 查看
参考文章:http://www.jianshu.com/p/791137760c14
运行SparkStreming程序一段时间后,发现产生了异常:
如果消息体太大了,超过
解决方案:Kafka consumer中设置fetch.message.max.bytes为大一点的内存
比如设置为50M:1024*1024*50
fetch.message.max.bytes=52428800
运行SparkStreming程序一段时间后,发现产生了异常:
ERROR JobScheduler: Error running job streaming job 1496767480000 ms.0 org.apache.spark.SparkException: Job aborted due to stage failure: Task 13 in stage 37560.0 failed 4 times, most recent failure: Lost task 13.3 in stage 37560.0 (TID 3891416, 192.169.2.33, executor 1): kafka.common.OffsetOutOfRangeException
如果消息体太大了,超过
fetch.message.max.bytes=1m的默认配置,那么Spark Streaming会直接抛出OffsetOutOfRangeException异常,然后停止服务。
解决方案:Kafka consumer中设置fetch.message.max.bytes为大一点的内存
比如设置为50M:1024*1024*50
fetch.message.max.bytes=52428800
相关文章推荐
- spark streaming读取kafka数据,记录offset
- spark streaming读取kafka数据令丢失(二)
- Spark Streaming场景应用-Kafka数据读取方式
- SparkStreaming python 读取kafka数据将结果输出到单个指定本地文件
- 在idea上用SparkStreaming实现从远程socket读取数据并完成Wordcount
- spark streaming 读取kafka数据问题
- spark-streaming 读取kafka数据不丢失(一)
- kafka SparkStreaming读取数据笔记
- SparkStreaming读取Kafka数据
- SparkStreaming读取kafka数据进行反序列化以及mapPartition优化实例
- Spark Streaming场景应用-Kafka数据读取方式
- spark streaming 读取网络数据
- Spark Streaming 读取Kafka数据写入Elasticsearch
- Spark视频第6期:无需等待的实时计算时代如何在90分钟内通过Spark Streaming掌握大数据实时计算和流处理?
- spark中读取elasticsearch数据
- spark中读取elasticsearch数据
- spark streaming测试之四设置窗口大小接收数据
- spark streaming测试之三有状态的接收数据
- Spark SQL读取hive数据时报找不到mysql驱动
- spark streaming的容错:防止数据丢失