Spark上矩阵运算库(二)—— 矩阵相乘测试
2014-07-20 22:24
423 查看
目前已经参照HAMA 0.1完成了密集矩阵相乘的所有代码,在小数据集上(例如 1000 * 1000 维度)测试均通过且正确运行。
但是当两个分别是10000 * 10000 维度的矩阵相乘时(每个矩阵的文本文件大小为860MB),在执行saveAsTextFile的Action时,会执行数十小时却依然没有完成,可能是底层HDFS的问题,这是下一步需要解决的问题。
下一步还需要将该算法与Hadoop上HAMA 0.1的矩阵相乘算法、以及单机运行矩阵乘法时间做对比,同时将集群升级迁移至16个节点的集群上。
ps. 夏日感冒确实很不舒服啊,进度稍微受到影响了……
但是当两个分别是10000 * 10000 维度的矩阵相乘时(每个矩阵的文本文件大小为860MB),在执行saveAsTextFile的Action时,会执行数十小时却依然没有完成,可能是底层HDFS的问题,这是下一步需要解决的问题。
下一步还需要将该算法与Hadoop上HAMA 0.1的矩阵相乘算法、以及单机运行矩阵乘法时间做对比,同时将集群升级迁移至16个节点的集群上。
ps. 夏日感冒确实很不舒服啊,进度稍微受到影响了……
相关文章推荐
- Spark上矩阵运算库(一)—— 矩阵相乘
- 基于Spark框架的大型分布式矩阵求逆运算实现(二)——大型下三角矩阵求逆运算
- PM3(矩阵相乘 行和的简便运算)
- Spark上矩阵运算库(三)代码重构与优化
- Spark上矩阵运算库(五)——高级矩阵操作1
- Blitz++ 矩阵相乘(张量运算) 示例
- 第十四周项目四——矩阵运算(2)矩阵相乘
- Spark上矩阵运算库 ——中期检查报告
- 测试矩阵连续运算的速度问题的代码
- 矩阵、浮点运算测试报告
- Spark上矩阵运算库(七)--LU矩阵分解实现和Spark 1.1的SVD剖析
- Spark上矩阵运算库 终期检查报告
- 基于Spark实现的超大矩阵运算
- 矩阵运算 相加,相减,乘标量,相乘
- Spark上矩阵运算库(六)——高级矩阵操作2
- 第32-33讲项目2-矩阵运算(二、矩阵相乘)
- 稀疏矩阵三元组的相加相乘运算
- 稀疏矩阵的运算(相乘,输出,转置,相加)
- 矩阵、浮点运算测试报告
- java 矩阵相乘,矩阵线性运算