Spark上矩阵运算库(二)—— 矩阵相乘测试

来源:互联网 发布:python 字典 append 编辑:程序博客网 时间:2024/06/05 05:05

目前已经参照HAMA 0.1完成了密集矩阵相乘的所有代码,在小数据集上(例如 1000 * 1000 维度)测试均通过且正确运行。

但是当两个分别是10000 * 10000 维度的矩阵相乘时(每个矩阵的文本文件大小为860MB),在执行saveAsTextFile的Action时,会执行数十小时却依然没有完成,可能是底层HDFS的问题,这是下一步需要解决的问题。

下一步还需要将该算法与Hadoop上HAMA 0.1的矩阵相乘算法、以及单机运行矩阵乘法时间做对比,同时将集群升级迁移至16个节点的集群上。


ps. 夏日感冒确实很不舒服啊,进度稍微受到影响了……

0 0