英特尔重定义Hadoop核心:优化CPU
来源:互联网 发布:清理软件下载 编辑:程序博客网 时间:2024/05/16 10:50
据国外媒体报道,近日,英特尔新推出的Intel版Hadoop不但改写了Hadoop框架的核心功能,强化对处理器指令集的支持来提高效能,可直接支持Xeon进阶运算加密指令集AES-NI,并在数据储存到HBase的过程,用芯片原生的加密功能保护,这是英特尔进军Big Data的杀手锏软件 。
继Cloudera与Hortonworks之后,英特尔近日宣布推出Hadoop新版本,包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner,这是英特尔从2009年开始投入大数据研究以来,首度发布的大数据软件产品,英特尔将以开源分布式数据分析平台Hadoop进军大数据市场。
英特尔Hadoop发行版是以英特尔的硬件为基础,提供Hadoop使用者更安全、更高效、更易部署的数据处理平台,未来英特尔将继续投入Hadoop的研发。
不过,英特尔并不会因此变成一家软件公司。英特尔的策略是打造一个开放的大数据生态环境。目前英特尔版Hadoop的合作伙伴包括OEM厂商、系统整合商、独立软件开发商,负责企业部署,英特尔提供培训。目前已与20多家软硬件厂商计划加入联盟,包括SAP、思科、SAS、1degreenorth、Revolution Analytics等。
英特尔推出的Hadoop专属软件平台,主要包括三个部分,第一是Hadoop平台的管理工具Intel Manager与Intel Active Tuner,二是基于Hadoop架构所做的调优,包括HDFS、MapReduce、HBase的重定义改写,同时支持SQL查询指令语言Hive,对于SQL指令的查询速度提升了8.5倍。其三,英特尔的Hadoop架构中,也融入了其他常用的Hadoop工具,例如:Zookeeper等。
重定义Hadoop架构
英特尔重新改写了Hadoop架构,可以直接支持Xeon计算加密指令集AES-NI,提高数据指令周期,并通过芯片原生的加密功能保护数据收集、存储到HBase的过程,并且性能不受加密的影响。
举例来说,采用Xeon E5-2690处理器、搭配英特尔SSD 520快闪硬盘和10GbE网络卡,1TB的数据量处理将可缩短到7分钟。
今年2月底,英特尔正式启动两个Hadoop方面的新项目,其中一个项目是Panthera,着重SQL与Hadoop的整合,另一个项目则是Rhino,研究更深层次的Hadoop应用。 未来,英特尔将会加大对大数据的研究投入,包括商业智能及图形计算分析。
英特尔数据中心与嵌入式系统亚太区产品经理RK Hiremane表示,Hadoop暂时还不是一个成熟市场,但英特尔看好电信业、金融业、政府以及医疗行业的发展潜力。
来自新加坡的英特尔Hadoop合作伙伴1degreenorth指出,当企业开始考虑部署Hadoop时,一定会进行全面的评估,过去只能选择Cloudera与Hortonworks,但是现在多了一个Intel版本,从软件开发商的角度来看,在亚太地区,不论Cloudera或Hortonworks并没有特别投入资源,英特尔则通过系统整合商与独立软件开发商来提供企业相关服务,同时并提供相关的技术支持,这是一个非常重要的竞争力。
目前Hadoop在国内的应用仍处于萌芽阶段,每个客户都是以项目方式进行,英特尔在未来的Hadoop市场能否脱颖而出,关键在于Hadoop系统的软件开发与技术服务能力。因为目前大多数企业并没有足够驾驭Hadoop技术的人才,所以非常注重供应商所提供的Hadoop应用开发与技术服务。现阶段,英特尔虽然通过软件开发商进行战略布局,而这些厂商是否具有相关技术能力,并且全力投入大数据市场,还需要时间证明。
- 英特尔重定义Hadoop核心:优化CPU
- 英特尔cpu比较
- 英特尔CPU中断实验
- 英特尔i9或重燃核心大战 VR淡出电脑展
- 英特尔i9或重燃核心大战 VR淡出电脑展
- CPU : CPU核心类型
- 英特尔重启超级计算机技术
- 英特尔Hadoop发行版白皮书
- WEB开发性能优化--核心定义介绍篇(1)
- 织梦Dedecms网站安全优化之重定义目录
- 英特尔的优化库IPP
- IDF—英特尔CPU计划:从四核到百核
- 英特尔移动CPU命名及列表
- 英特尔主流移动CPU参数知多少?
- 英特尔遭遇CPU级RootKit,目前无药可医
- 知名女黑客曝英特尔CPU漏洞
- Intel英特尔历代经典 CPU 产品回顾
- AMD和英特尔CPU哪个好?
- 1.把二元查找树转变成排序的双向链表
- 深入理解字符串、数组、指针---联系与应用
- SDUT 2408 Pick apples
- Android学习笔记之图像颜色处理(ColorMatrix)
- 美国中情局6亿美元购买亚马逊云服务
- 英特尔重定义Hadoop核心:优化CPU
- 总结了Struts1与Struts2的12点区别
- Java Thread.interrupt 害人! 中断JAVA线程
- mongoDB使用-初学
- 几个C#日期、时间验证的正则表达式
- 六类顶级黑客大盘点
- Shell: 查看Linux内存,用户登录
- 《福布斯》:苹果黑客简史
- 政府数十万设备为何挡不住小黑客