数据库一体机介绍

来源:互联网 发布:新的网络社交软件 编辑:程序博客网 时间:2024/03/29 02:29
目录
1      概述... 3
1.1        什么是一体机... 3
1.2        SQL Server 一体机... 3
1.2.1         戴尔并行数据仓库一体机... 4
1.2.2         惠普商业数据仓库一体机... 5
1.2.3         惠普企业数据仓库一体机... 6
1.2.4         惠普商业决策一体机... 7
1.3        IBM  Netezza 一体机架构... 7
1.4        Oracle Exadata简介... 9
1.5        一体机对比评估... 11
2       Oracle Exadata云服务器... 13
2.1        Exadata系统架构... 13
2.2        Exadata硬件架构... 14
2.3        Exadata软件架构... 15
2.4        Exadata技术特性... 16
2.5        Exadata存在问题... 17
2.6        Exadata应用分析... 19
2.7        Exadata测试建议... 19
3       测试工作计划... 19
3.1        测试工作范围... 19
3.2        测试工作目标... 20
3.3        测试工作计划... 21

1   概述1.1 什么是一体机
一体机 (Applicance) 并没有一个通用的定义 , 一体机应该具备以下的一些特征。它应该是为特定的应用领域专门设计的设备,针对特定的用途集中优化,在特定的领域内提供一套完整的解决方案,需要很低的维护成本。对于最终用户来说一体机应该是能够快速简易的安装,通过标准的接口和非常简单的操作来满足用户的需求。一体机是个黑盒子,用户告诉它想要做什么,一体机快速的把结果或答案反馈给用户。IPod 就是一个很好的一体机例子,它简单化并且彻底改革了数字娱乐领域
1.2 SQL Server 一体机
通过戴尔、惠普和微软提供的新一体机,几天内就可以部署完成高性能的解决方案,而不是几个月。每个一体机都针对SQL Server进行了优化,它们由微软、戴尔和惠普的专家进行了预置和预调。这些一体机是易于选购和部署的高性能、高安全性、高能效的完整解决方案。通过部署一体机而不是自行构建解决方案,各公司可以减少投资、大幅缩短实现时间并将IT资源集中在其它优先项目上。
主要收益
l  包含了所有的软件、硬件和服务组件,进而提供了一个完整的解决方案。
l  一体机在性能、安全性和可用性方面由戴尔、惠普和微软的专家进行了优化和调节。
l  简单的获得方式和快速的部署让客户可以在最短的时间内交付解决方案。
1.2.1      戴尔并行数据仓库一体机
戴尔并行数据仓库一体机
l  大规模并行处理技术
l  企业级的戴尔硬件
l  已准备好实现商业智能
对于对数据仓库要求最严格的 IT决策者,通过在获得认可的戴尔硬件上构建的大规模并行处理(MPP)体系结构,微软和戴尔并行数据仓库一体机提供了高达几百TB的大规模可伸缩性和高性能。
1.2.2      惠普商业数据仓库一体机
惠普商业数据仓库一体机(HP Business Data Warehouse Appliance
l  包含了所有的硬件、软件和技术支持
l  在数据仓库性能方面进行了优化
l  针对能效方面进行了调节
l  兼容于所有主要的商业智能解决方案
微软和惠普的商业数据仓库一体机针对SQL Server 2008 R2进行了优化,它为数据量最多达5TB的数据集市和小型数据仓库工作负荷提供了最佳的性能。通过部署已由微软和惠普进行设计、调节、测试的优化的、预配置的解决方案,该一体机有助于减少实现数据仓库的时间和成本。
1.2.3      惠普企业数据仓库一体机
惠普企业数据仓库一体机(HP Enterprise Data Warehouse Appliance
l  大规模可伸缩性和高性能
l  完整的数据仓库解决方案
l  简单
惠普企业数据仓库一体机针对SQL Server 2008 R2 Parallel Data Warehouse进行了优化,您可以利用它提供的功能。通过此一体机,您可以构建企业数据仓库,这些数据仓库能够进行数据扩展,提高用户查询的性能,并降低您的IT成本。对于单机柜一体机乃至大型数据仓库,惠普企业数据仓库一体机都以低成本提供了大规模可伸缩性。
1.2.4      惠普商业决策一体机
惠普商业决策一体机(HP Business Decision Appliance
l  完整的解决方案
l  为自服务BI PowerPivot 进行了优化
l  在几个小时内完成部署,而不是几个月
惠普商业决策一体机针对SQL Server 2008 R2SharePoint 2010进行了优化,它为自服务商业智能提供了预配置的解决方案,具有最优的部署成本和最短的部署时间。惠普的硬件、微软的软件和惠普的服务都包含在内,并已准备好在几个小时内完成部署,而不是几个月。这样,您就可以发布内置于熟悉的Excel环境中的PowerPivot工作簿,并且就关键业务信息与您的团队轻松地展开协作。
1.3 IBM  Netezza 一体机架构
TwinFin系统IBM Netezza推出的第四代设备,TwinFin是目的性很强且基于标准而建立的数据设备,在架构上将数据库、服务器和存储功能进行了集成,是一个独立并易于管理的系统。TwinFin 设备针对快速分析PB量级的数据而设计,其性能比其他传统数据仓库供应商的设备性能高出 10-100倍。
Netezza TwinFin 的特点:
l  满足企业对数据仓库可靠性和可用性的要求,有超过 99.99% 的正常运行时间。
l  数据量可从1TB以下扩展到PB量级。具有极强的可扩展性。
l  支持数以千计用户的使用,并支持高度复杂、混合的复杂查询。
l  极快的加载速度,每小时超过2TB
l  极快的备份速度,数据速率超过4TB每小时的高速备份以及存储性能。
l  设备易用性,无需索引或调整;少量的运行管理工作。
l  行业领先的多核Intel刀片服务器,在实施过程中结合了磁盘存储和Netezza FPGAs专利数据过滤技术。
l  兼容市场领先的BI工具,应用软件以及基础设施。
l  低功耗和散热要求且占地面积紧凑。
l  针对高级分析的平台,好几个数量级的性能优势。
Netezza 1000 一体机
Netezza 1000 Netezza一体机很具代表性的一个型号。在NetezzaIBM收购之前这个型号的名称是Netezza TwinFin
1.4 Oracle Exadata简介
ExadataOracle2008年推出的集硬件、软件于一体的数据库一体机。现在已发展到第二版,硬件来自SUNOracle数据库版本是11gR2。它是:
l  适用于数据仓库应用的最好的数据库服务器(OLAP
l  基于10x压缩表的Smart scan
l  基于内存数据的并行查询
l  整体上比11.1版本快5
l  适用于OLTP系统的最好的数据库服务器(OLTP
l  唯一基于网格技术扩展的数据库
l  Smart flash cache 可达到20x1M IOPS)速度的IOPS,或者节省20x的磁盘
l  对于归档数据可达到50x的压缩率
l  安全容错
l  适用于混合负载的最好的数据库服务器(混合型)
l  唯一的支持所有负载类型的database machine
l  多个数据库,多个应用,多个用户环境都能提供可预测的响应时间


1.5一体机对比评估
项目
IBM  Netezza
Oracle Exadata v2 (SAS)
SQL Server 一体机




MPP
· 真实MPP
· 针对数据仓库和分析进行优化
· 混合– 并行存储节点和SMP 群集头节点
· 针对事务处理(OLTP) 进行优化
·  MPP
硬件架构
· 完全处理S-Blade (1 个CPU 核心+ 1 个FPGA 核心/1 个磁盘驱动器)
· 主要用于用户/应用程序接口的SMP 主机节点
· 独立的刀片到刀片重新分配
· 智能存储(1 个CPU 核心/1.5 个磁盘驱动器)
· 运行Oracle 11g RAC 的SMP 群集节点
· InfiniBand(Exadata 节点到SMP 群集)
· 头节点参与所有数据重新分配
· 一个多机架系统,包含1个控制机架和1-4个数据机架
· 每个机架都是一个节点的集合,每个节点都在其中有专门的作用
· 这些节点使用一个机体附带的Infiniband网络来实现互相间之间的数据传送
· 每个数据机架有10个运算节点和一个设备节点
数据流
· S-Blade 上的FPGA 性能协助– 解压缩、谓词筛选、行级别安全增强
· 95% 以上的工作在S-Blade 上完成
Exadata 节点主要用于解压缩和谓词筛选
大多数DW 和分析工作在SMP 头节点中完成
· 不详
数据库内分析
· 完全参与的MPP 平台进行分析
· 用户定义的函数、聚合及表· 语言支持:C/C++ 、Java 、Python 、R、Fortran 
· 范式支持:SQL 、Matrix 、Grid 、Ha-doop
· 内置集合包含50 多个主要分析( 完全并行)
· 开源: 对GNU 科学计算库和CRAN 库的支持
. 集成开发环境: 带有向导的Eclipse 和R GUI
· 仅限于头节点群集的分析处理
· 用户定义的函数和聚合
· 语言支持:C/C++ 、Java
· 范式支持:SQL 、Matrix ( 次要

· 基本分析函数
· 用户定义的函数和聚合
· 语言支持:C/C++ 、Java
· 范式支持:SQL
· 基本分析函数
扩展
· 线性性能和数据大小可扩展性
· 功能全面的企业级工作负荷管理及其他功能
· 非线性性能和数据大小扩展– 头节点群集的性能和I/O 瓶颈
· 扩展性强、依赖服务器配置
· 可支持达上百TB的数据容量

便
设备系统管理和集成
· 无需调优, 无需编制索引, 无需分区
· 为提供最佳性价比而开发的平衡系统
· 性能依赖于调优
· 性能依赖于分区和索引的设计和管理
· 不依靠昂贵的专有处理器或存储。无需进行整体升级
· 所有组件互相之间都经过调整达到平衡,以此减少性能瓶颈,并且所有的服务器和存储组件都被建立了镜像


2      Oracle Exadata云服务器2.1 Exadata系统架构
Share DiskShare Nothing是两种主要的数据库架构,Exadata提供一种混合式的数据库架构,能够有效解决两者的冲突,吸取两种架构长处既可以满足OLTP的高并发、高可用特点;又可以满足OLAP的大数据量处理要求:
l  当应用代码量很大(高并发)、相关数据量比较小时,Share Disk更加适合这种典型的OLTP应用
l  当相关数据量很大、而应用代码并发量很小时,Share Nothing更加适合这种典型的OLAP应用
l  数据库服务器承担计算密集型处理(Share Disk架构),比如:求和统计数据转换等
l  智能存储服务器(Share Nothing架构)在存储部件中实现数据密集型处理,比如:进行表及索引扫描,过滤查询无关数据等
2.2 Exadata硬件架构
Exadata X2-2包含三种配置,随着业务的扩大,低配可以升级到高配:
l  1/4配置
l  半配置
l  全配置
Exadata X2-8只包含全配(不同时期出厂的X2-8的配置略有不同,主要体现在CPU上,目前最新版本的X2-8服务器每台装有80核)CPU。目前X2-8服务器的配置情况如下:
Exadata Database Machine X2-8 Hardware
2 x Database Servers, each with:
• 8 x Ten-Core Intel® Xeon® E7-8870Processors (2.40 GHz)
• 2 TB Memory
• Disk Controller HBA with 512MB Battery Backed Write Cache
• 8 x 300 GB 10,000 RPM SAS Disks
• 8 x InfiniBand QDR (40Gb/s) Ports
• 8 x 10 Gb Ethernet Ports based on the Intel 82599 10GbE Controller
• 8 x 1 Gb Ethernet Ports
• 1 x ILOM Ethernet Port
• 4 x Redundant Hot-Swappable Power Supplies
3 x 36 port QDR (40 Gb/sec) InfiniBand Switches
14 x Exadata Storage Servers X2-2 with 12 x 600 GB 15,000 RPM High Performance SAS disks or 12 x 3 TB
7,200 RPM High Capacity SAS disks
Includes:
• 168 CPU cores for SQL processing
• 5.3 TB Exadata Smart Flash Cache
2.3 Exadata软件架构
    其中,操作系统为Oracle Enterprise Linux,数据库存储采用ASM,数据库版本是Oracle 11gR2。目前最新的版本为Oracle 11.2.0.3
2.4 Exadata技术特性
Exadata提供了以下技术特性来实现高性能:
Exadata 智能扫描技术
l  降低10X或更多的数据传输量到数据库服务器
l  减少数据库服务器的负载
l  对应用完全透明
Exadata存储索引技术
l  在内存中维护表数据的汇总信息
l  消除不必要的磁盘IO请求
l  完全自动和透明地维护
Exadata混合列压缩技术 (HCC)
l  数据以列形式存储并压缩
l  高效的数据压缩,节约存储并加快数据扫描
Exadata智能闪存缓存技术
l  吸收磁盘和内存缓存2者的优点
l  将访问热点数据传输到闪存
l  使用闪存卡替代闪存磁盘去避免磁盘控制器的限制
l  打破随机IO瓶颈,20X的改善
l  双倍的数据扫描带宽   
I/O 资源管理技术
l  按需分配的IO管理机制
l  确保一个数据库内的用户和任务被正确地分配相应的I/O资源
l  确保不同的数据库可以分配到正确的IO带宽
l  整合数据库中,确保不同数据库的用户和任务可以分配到正确的IO
Infiniband网络技术
l  高速的网络互联,在数据库服务器之间、数据库服务器和存储服务器间通讯
l  每路可达到40GB/s吞吐率
2.5 Exadata存在问题
从国内一些Exadata用户的实际使用体验得知, 使用Exadata存在以下的问题:
l  软硬件一体,耦合过于紧密,对Oracle 的依赖度很高。部署后的后续服务费用较高
EXADATA采用INTEL平台,使用LINUX操作系统,X2-2每台服务器只有12个核,满配的X2-2包含8个数据库服务器节点,总CPU数量为96核。X2-8每台服务器有80个核,满配为2个数据库服务器节点。从CPU的能力和配置上来看,一套X2-8CPU处理能力远不如2台满配的IBM P780组成的RAC集群。由于国家电网的应用系统并未针对RAC做优化,因此使用X2-2满配8节点的方案具有一定的风险,使用X2-8可能是国网一级部署如果使用EXADATA的较好的选择。目前X2-8在国内尚无成功案例
l  需要较多的IP地址
l  升级操作复杂,系统升级中操作系统、数据库软件、存储服务器、数据库均需要升级,而且由于各个组件耦合性很强,因此对软件版本的依赖度也十分高
l  国内使用经验贫乏,目前EXADATA在国内的成功案例较少,大多数目前已经购买了EXADATA的用户也是2011年前后才到货的。可供借鉴的经验想对较少
l  Oracle中国区目前对该系统的支持能力一般,较为复杂的问题均需要Oracle 海外的团队提供支持
l  从目前国内用户使用情况来看,EXADATAOLAP系统上具有较好的优势,通过系统简单移植就能获得较大的性能提升,不过针对OLTP系统的成功案例还较少,特别是针对全国一级部署的大型OLTP应用尚无成功案例
原创粉丝点击