阿里云飞天377s完爆hadoop spark的记录到底意味着啥?

来源:互联网 发布:java jdk是什么 编辑:程序博客网 时间:2024/05/01 14:30

阿里云飞天系统100TB数据排序仅耗时377s

这到底意味着什么?
首先很荣幸,因为2013年BDTC我在现场看到唐洪介绍飞天系统,昨天看到阿里云能取得这么好觉得 很欣慰
以前看到有人评论飞天道,你们觉得有什么hadoop不能满足的非得自己做一个差不多的
我觉得这个疑问不言自明吧

在说这个记录给我的感受之前,我想先说一个现象:
效率为王———
1运行效率为王,推崇使用运行效率比较高的语言去构建系统;
这其中起码有两种人,一种就是偏执的要快,一种就是执著的要快
这种好像在当前这个只希望快点做出产品的大环境的人的眼中不值一提;这也是我个人觉得为啥C/C++不断被一些人谨慎使用或者唾弃的原因,真的在C/C++目前很少被涉及到的领域中真的没有发展空间么????

2开发效率为王,主要以脚本语言和java及相关语言,他们一部分认为认识比较中立,一部分则比较high
认为只要能不断提升硬件,就能和C/C++不断拉近差距

当前的大数据平台是否是IO密集型 还是 计算密集型
如果是IO密集型,我个人觉得这3个系统差距可能就在系统的实现原理的差距上了

如果是密集计算型,无疑飞天也是具有压倒性优势的

第一个维度,编程语言
hadoop采用java
spark采用scala
飞天采用C++

第二个维度,平台架构方面
飞天在设计的时候借鉴了不少相关的优秀设计,这个方面 飞天无异于比hadoop优秀太多

说到底一个系统工程,尤其是涉及到计算密集 IO密集 分布式通信 资源管理,是否仅用性能型语言就一定能解决 ?是否不用也能解决好
这是一个问题,也许没有答案.

0 1