hadoop日志【4】----50G数据
来源:互联网 发布:临汾行知学校简介 编辑:程序博客网 时间:2024/06/16 15:36
以前测试的数据量最大的才8G左右,而且还是在sqlserver中的数据量
一般运行都在30分钟左右
而sqlserver运行同样的逻辑更快,最多8分钟
决定测试一下能体现hadoop集群优越性的数据量
然后就搞了一个50G的数据表
果然效果明显,sqlserver运行一次需要至少5个小时,hadoop跑完一个流程则需要2个半小时,看来30G是自己使用的硬件在两种方案上的临界点了
今天就准备测试一下
- hadoop日志【4】----50G数据
- 基于hadoop的网站日志数据分析
- Hadoop学习日志之大数据概念
- Hadoop学习日志之数据完整性
- hadoop日志
- Hadoop日志
- Hadoop日志
- hadoop 日志
- hadoop日志
- hadoop日志
- Oracle日志文件达到4G
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- hadoop 实战——网站日志数据分析
- Hadoop文件系统元数据fsimage和编辑日志edits
- Hadoop文件系统元数据fsimage和编辑日志edits
- C中的预编译宏定义
- 写入到txt的类
- 关于impacket.ImpactDecoder解包器
- ISD17系列语音芯片的地址计算方法
- 表格边框虚线显示
- hadoop日志【4】----50G数据
- liunx php的GD库 添加 jpeg 文件的支持
- powershell 远程执行命令失败
- 链式前向星
- screen 使用
- 深入解析AsyncTask
- linux下tomcat开机自动启动
- UNIX环境高级编程——线程和信号
- Oracle 日期查询