阿里云计算能力实现多项突破 BigBench规模全球首次被拓展至100TB
来源:互联网 发布:苏州淘宝美工培训 编辑:程序博客网 时间:2024/04/28 04:12
10月12日,阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破:将BigBench数据规模扩展到100T;流计算2.0每秒峰值达千万QPS,整体链路延时亚秒级;E-MapReduce对比同类产品平均性能提升3倍。
周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。我们希望通过不断的释放阿里云的计算红利,帮助开发者抓住更多市场机遇。
TPCx-BigBench是大数据端到端真实复杂的业界领先测试基准,目前,TPC官网公布的测试最大规模为10TB,最佳性能是1491.23BBQpm。
当天,阿里云与Intel合作,在最新的Intel硬件上,基于公共云发布的BigBench On MaxCompute+PAI,全球首次将规模拓展到100TB,达到7000 BBQpm,也是首个基于公共云服务的Benchmark。
据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。
在规模上的优秀表现,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。
在性能上,MaxCompute新一代处理引擎从Compiler、Optimizer、Runtime等模块进行的持续深度优化。此外,MaxCompute与Intel开展深度合作,软硬结合深度优化。
英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。
在流计算方面,周靖人透露将于10月底在公共云发布新的版本。StreamCompute 2.0基于Apache Flink,并为开源社区提供了大量阿里内部的改进和优化。
1. 高吞吐低时延处理能力,单作业峰值达数千万的QPS,相比于StreamCompute 1.0有10+倍提升
2. SQL化的流式分析语言,由阿里巴巴计算事业部实时计算团队主导开发并回馈社区的BlinkSQL;BlinkSQL支持完备的流式处理语义,支持包括多种窗口、乱序容忍、完整DDL支持
3. 精准的数据处理语义,提供Exactly-once处理语义,同时为减少磁盘IO,提供增量CheckPoint,优化存储空间。
E-MapReduce产品是阿里云上基于开源大数据的云服务产品,包括15+个开源组件的一站式大数据解决方案。周靖人现场发布了基于本地硬盘以及计算存储分离的大数据解决方案。
周靖人介绍,为了解决大数据处理以及机器学习的统一调度难题,E-MapReduce产品实现了CPU/GPU的混合调度方案,使得数据预处理以及数据训练可以在一个平台上解决。
E-MapReduce对于数据读写的性能至关重要,产品通过对于对象存储OSS的优化,使得读写OSS的性能是同类产品的3倍,对于计算和存储分离的大数据解决方案的产品化形式变得可以落地。
- 阿里云计算能力实现多项突破 BigBench规模全球首次被拓展至100TB
- 阿里云计算能力实现多项突破 BigBench规模全球首次被拓展至100TB
- 阿里云计算能力实现新突破 BigBench全球首次达到100TB
- 【云栖大会】持续拥抱开源阿里云计算能力三大突破
- 技术文章 | 6倍性能差100TB容量_阿里云POLARDB如何实现?
- 阿里云异构计算产品家族亮相_为人工智能提供全球加速能力
- 阿里云正式进入印度,布局全球云计算市场
- 阿里云何万青:搭建首个全球云上超算中心,做超算能力的普惠者
- 阿里云何万青:搭建首个全球云上超算中心_做超算能力的普惠者
- 阿里云何万青:搭建首个全球云上超算中心,做超算能力的普惠者
- 首次全球最大规模IPv6过渡技术测试11月在中国举办
- 轻松搞定TB级数据,开源GraphLab突破图计算“极限”
- 轻松搞定TB级数据,开源GraphLab突破人类图计算“极限值”
- 屌丝评:阿里云计算总裁胡晓明《让计算成为中国的能力》
- 阿里云MaxCompute持续挑战极限,北京云栖大会现场完成基于公共云的BigBench评测!
- 全球云计算市场诞生四巨头,亚马逊、微软、阿里云和谷歌引领市场
- 百度地图发布新版定位SDK,首次开放全球定位能力
- 阿里云旺自定义消息和首次打开聊天界面自动发送消息的实现
- <设计模式可复用面向对象软件的基础> [1.5]、单例(C#)
- 行人属性“Human Attribute Recognition by Deep Hierarchical Contexts”
- Zookeeper搭建集群
- Deferred 延迟渲染
- 一些简单的java实例
- 阿里云计算能力实现多项突破 BigBench规模全球首次被拓展至100TB
- 华为最热门的开源项目推荐!
- 网传王者荣耀员工年终奖100个月工资 腾讯:传言太离谱了
- 面试的妹纸问我:Web缓存设置不是后台的事情吗?
- Netflix 最热门的开源项目推荐
- linux下的pstack和gstack命令
- 【C/C++开发】c++ 工具库 (zz)
- Android studio 工程安装apk时报错~
- 一天搞懂深度学习—学习笔记2(CNN)