Spark PCA 特征时 java.lang.OutOfMemoryError: Java heap space
2018-03-10 12:56
661 查看
1、背景：样本量在2W左右，特征数在1W左右；利用spark 的pca 特征时，总报错 java.lang.OutOfMemoryError: Java heap space；
2、解决方法：
spark.driver.maxResultSize", "40g" 产生的结果大于默认的1024M,需要的话设置大点；
--driver-memory 100g （大点）
2、解决方法：
spark.driver.maxResultSize", "40g" 产生的结果大于默认的1024M,需要的话设置大点；
--driver-memory 100g （大点）
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- linux下的tomcat jvm内存：java.lang.OutOfMemoryError: Java heap space
- hiveserver2服务异常停止，报错：java.lang.OutOfMemoryError: Java heap space
- 我的java.lang.OutOfMemoryError: Java heap space解决方法
- intellij IDE Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
- java.lang.OutOfMemoryError: Java heap space
- Caused by: java.lang.OutOfMemoryError: Java heap space
- java.lang.OutOfMemoryError: Java heap space和java.lang.OutOfMemoryError: PermGen space的解决方法
- java.lang.OutOfMemoryError: Java heap space解决方法
- ava.lang.OutOfMemoryError: Java heap space 的快速解决办法
- java.lang.OutOfMemoryError: Java heap space
- Caused by: java.lang.OutOfMemoryError: Java heap space 异常
- 使用Java程序从数据库中查询大量的数据时出现异常:java.lang.OutOfMemoryError: Java heap space
- 运行web项目报 java.lang.OutOfMemoryError: Java heap space
- MyEclipse java.lang.OutOfMemoryError: Java heap space
- 剖析java.lang.OutOfMemoryError: Java heap space产生原因及解决方法
- 有关tomcat java.lang.OutOfMemoryError: Java heap space（堆栈溢出） 和 PermGen space
- java.lang.OutOfMemoryError:Java heap space问题
- java.lang.OutOfMemoryError: Java heap space
- Hadoop执行作业时报错：java.lang.OutOfMemoryError: Java heap space
- Caused by: java.lang.OutOfMemoryError: Java heap space 异常