Spark上矩阵运算库(二)—— 矩阵相乘测试
来源:互联网 发布:python 字典 append 编辑:程序博客网 时间:2024/06/05 05:05
目前已经参照HAMA 0.1完成了密集矩阵相乘的所有代码,在小数据集上(例如 1000 * 1000 维度)测试均通过且正确运行。
但是当两个分别是10000 * 10000 维度的矩阵相乘时(每个矩阵的文本文件大小为860MB),在执行saveAsTextFile的Action时,会执行数十小时却依然没有完成,可能是底层HDFS的问题,这是下一步需要解决的问题。
下一步还需要将该算法与Hadoop上HAMA 0.1的矩阵相乘算法、以及单机运行矩阵乘法时间做对比,同时将集群升级迁移至16个节点的集群上。
ps. 夏日感冒确实很不舒服啊,进度稍微受到影响了……
0 0
- Spark上矩阵运算库(二)—— 矩阵相乘测试
- Spark上矩阵运算库(一)—— 矩阵相乘
- Spark上矩阵运算库 ——中期检查报告
- Spark上矩阵运算库(五)——高级矩阵操作1
- Spark上矩阵运算库(六)——高级矩阵操作2
- 第十四周项目四——矩阵运算(2)矩阵相乘
- spark矩阵向量-矩阵矩阵相乘
- Spark上矩阵运算库(七)--LU矩阵分解实现和Spark 1.1的SVD剖析
- Spark上矩阵运算库 终期检查报告
- java 矩阵相乘,矩阵线性运算
- 作业二——实现简单的矩阵相乘
- Spark上矩阵运算库(三)代码重构与优化
- Spark上矩阵运算库(四)基本API搭建完毕
- 线性代数复习二——矩阵运算
- 矩阵相乘(uva348)
- 稀疏矩阵的运算(相乘,输出,转置,相加)
- 稀疏矩阵相乘——三元组稀疏矩阵
- 动态规划——矩阵链相乘
- 01背包水题篇之HDU3466——Proud Merchants
- python常用的可框架
- HBase Random Read性能测试
- HDU3694 四边形的费马点
- linux 内存管理 红黑树(未读)
- Spark上矩阵运算库(二)—— 矩阵相乘测试
- git常见操作
- STL_map——map::begin
- 直接插入排序
- pyhton 遍历文件夹,筛选文件
- opencv 2.x学习笔记(十三)绘制直方图
- HDOJ 4857 逃生
- js 仿微博说说
- linux awk详解