大数据时代 云架构

来源:互联网 发布:不能登陆淘宝联盟 编辑:程序博客网 时间:2024/04/28 22:03

关于大数据的资讯铺天盖地而来,让大家看得眼花缭乱。虽然资讯很精彩,我们也看到了大数据背后的价值,但普遍不知道如何下手。

Yonghong认为,在一个企业中,超出现有计算机系统处理能力的数据,就是大数据。作为领军企业,应本着务实的态度,利用较低的成本,通过对大数据进行高速捕获和实时的分析,以获取核心业务和战略决策所需的关键信息,从而提升企业经营管理和战略决策水平,最终创造巨大的商业价值,才是对大数据价值的最好诠释。

大数据正在成为从工业经济向知识经济转变的重要特征,已经成为新时代最关键的生产要素和产品形态。数据库时代之后,随着可用数据的持续积累,各行业的领军企业逐步开始了数据价值的发现之旅,尤其是在电信、金融、保险、互联网等IT建设比较领先的行业,商业智能系统(BI)的建设已然比较完善,并在日常经营和战略决策中发挥着重要的作用。

这一阶段的商业智能系统,一般是以数据仓库+OLAP为主,各种报表展现系统为辅。

数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Making)。数据仓库本身并不生产任何数据,它的数据来源于外部,并且开放给外部应用,因此数据仓库的基本架构主要包含的是数据流入流出的过程,可以分为三层:源数据、数据仓库、数据应用。

 

OLAP就是最常见的一种数据应用。

OLAP以多维度方式分析数据,它提供积存(Roll-up)、下钻(Drill-down)、枢纽分析(pivot)等操作,呈现集成性决策信息的方法。它主要的功能,在于方便大规模数据分析及统计,对决策提供参考和支持。

一般地,传统数据仓库能够存储大数据,但并不提供针对大数据的分析和统计功能,因此,在开发OLAP这种数据应用时,需要用户预先提出的分析及统计的需求,再预先计算好这些主观的分析及统计的结果,才能确保OLAP系统的实时交互能力。

Yonghong在大数据、分布式计算、数据分析等领域具备核心竞争力、自主创新并拥有多项发明专利。Yonghong研发团队推出的商业智能平台Z-Suite,是由一系列基于MPP架构的商业智能产品组成。

Z-Suite是发现型的商业智能产品,她具备丰富的数据分析能力。当用户访问数据应用的时候,如果看到商业活动的异常或者变化时,除了数据展现,我们更需要的是能够通过即席的、深入的分析以获取现象背后的深层次原因。基于Z-Suite,用户可以不断地与数据对话(Talk),深入分析信息(Analyze),直到得到满意的答案。

Z-Suite具有高性能的大数据分析能力,她完全摒弃了向上升级(Scale-Up),全面支持横向扩展(Scale-Out)。Z-Suite主要通过以下核心技术来支撑PB级的大数据:

 

▪   跨粒度计算(In-Database Computing)

Z-Suite支持各种常见的汇总,还支持几乎全部的专业统计函数。得益于跨粒度计算技术,Z-Suite数据分析引擎将找寻出最优化的计算方案,继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算,我们称之为库内计算(In-Database)。这一技术大大减少了数据移动,降低了通讯负担,保证了高性能数据分析。

▪   并行计算(MPP Computing)

Z-Suite是基于MPP架构的商业智能平台,她能够把计算分布到多个计算节点,再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源,不管是服务器还是普通的PC,她对网络条件也没有严苛的要求。作为横向扩展的大数据平台,Z-Suite能够充分发挥各个节点的计算能力,轻松实现针对TB/PB级数据分析的秒级响应。

▪   列存储 (Column-Based)

Z-Suite是列存储的。基于列存储的数据集市,不读取无关数据,能降低读写开销,同时提高I/O 的效率,从而大大提高查询性能。另外,列存储能够更好地压缩数据,一般压缩比在5 -1 0倍之间,这样一来,数据占有空间降低到传统存储的1/5到1/10 。良好的数据压缩技术,节省了存储设备和内存的开销,却大大了提升计算性能。

▪   内存计算

得益于列存储技术和并行计算技术,Z-Suite能够大大压缩数据,并同时利用多个节点的计算能力和内存容量。一般地,内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算,CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速,是实现大数据分析的关键应用技术。

Yonghong的大数据之道是:大数据,小投入。自主研发的产品系列Z-Suite力求以低成本投入,从大数据这座金矿里获取最大的回报。作为国家重点扶持的创新型高科技企业,Yonghong期待着和您携手,一起去发掘大数据的商业价值,共同走向成功。


 


原创粉丝点击