hadoop日志【4】----50G数据

来源:互联网 发布:临汾行知学校简介 编辑:程序博客网 时间:2024/06/16 15:36

以前测试的数据量最大的才8G左右,而且还是在sqlserver中的数据量

一般运行都在30分钟左右

而sqlserver运行同样的逻辑更快,最多8分钟


决定测试一下能体现hadoop集群优越性的数据量

然后就搞了一个50G的数据表

果然效果明显,sqlserver运行一次需要至少5个小时,hadoop跑完一个流程则需要2个半小时,看来30G是自己使用的硬件在两种方案上的临界点了

今天就准备测试一下

原创粉丝点击