您的位置：首页 > 编程语言 > Java开发

spark.driver.maxResultSize || java.lang.OutOfMemoryError

2016-03-11 16:46 435 查看 
16/03/11 12:05:56 ERROR TaskSetManager: Total size of serialized results of 4 tasks (1800.7 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)


.set("spark.driver.maxResultSize","8g")


java.lang.OutOfMemoryError: Direct buffer memory

这种情况一般是序列化大于256m，需要修改程序。我在使用limit拟牛顿法出现这种情况，换成随机梯度下降就解决了。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航