2015也过去一半了,Hadoop大事件盘点
来源:互联网 发布:国外域名市场 编辑:程序博客网 时间:2024/04/25 19:48
2015也快过去一半了,Hadoop在过去一年的发展究竟如何,下面小象带你盘点一下2014Hadoop大事件!
2014年2月,Hadoop 2.3.0发布,新特性包括支持HDFS的混合存储分级,可以集中管理HDFS内存里的缓存数据,通过HDFS中的YARN分布式缓存简化MapReduce分配及一些Bug修正。
2014年4月,Hadoop 2.4.0发布。包括HDFS支持ACL权限控制机制、容易升级、支持支持https访问、支持ResourceManager因故障挂掉重启后,可以恢复之前正在运行的应用程序(用户不需重新提交)、增加了Yarn共享信息存储模块ATS等。
2014年8月,Hadoop 2.5.0发布。新特性包括扩展文件属性、改进 HDFS 的 Web UI,提升 Yarn共享信息存储模块ATS 安全性,更丰富的 YARN REST API 等。
2014年11月,Hadoop 2.6.0发布。增加了基于HadoopKeyProvider API编写的密钥管理服务器Hadoop Key Management Server(KMS)、HDFS实现了一个透明的,端到端的加密方式、长期存在的服务可以在YARN中运行、支持Docker容器中的本机应用程序等。
Hadoop 2 的逐步更新是不是意味着Hadoop已经走向成熟的企业级技术了呢?其实它还有很长的路要走。
SQL-on-Hadoop
如果不能使用SQL语言,Hadoop无疑是在构建下一个数据孤岛,因此SQL-on-Hadoop获得了越来越多的关注。
Apache Hive 0.13发布。Hive是最早的基于Hadoop的SQL引擎。
Apache 基金会宣布Apache Drill升级成为基金会的顶级项目。Drill包含SQL解析器,兼容SQL环境和Hive。
除此之外,还有很多SQL引擎可供选择。
数据库领域初创公司Splice Machine上周宣布,发布SQL-on-Hadoop数据库,官方宣称它可以在HDFS(Hadoop分布式文件系统)中运行SQL查询和ACID事务。
喧嚣与躁动
Hadoop市场从未像今年这样热闹过,商用版Hadoop供应商纷纷抱大腿,很多传统厂商也来分一杯羹。
Cloudera
因特尔放弃了自己研发的Hadoop发行版,转而支持Cloudera,以7.4亿美元收购Cloudera 18%的股份。
红帽和Cloudera联盟,一起开发包括数据集成和应用开发工具,以及数据平台在内的软件解决方案。
Cloudera成立中国分公司,取名“肯睿(上海)软件有限公司”,正式入华。
Hortonworks
惠普投资5000万美元与Hortonworks达成战略性合作关系,二者联手开发Hadoop技术,使其在惠普的Haven大数据平台上运行。
EMC分拆公司Pivotal和Hortonworks合作,联手打造Hadoop标准管理工具Apache Ambari。
Teradata
Teradata收购数据咨询公司Think Big Analytics,借此获得Hadoop业务能力
Teradata与MapR合作,获得MapR软件、专业服务及客户支持服务的经销权,并作为同时使用Teradata及MapR解决方案客户的单点联系方提供服务。
Oracle
Oracle最新推出的SQL扩展方案——Oracle大数据SQL(Big Data SQL)能实现一条SQL查询来从Cloudera Hadoop(CDH)和Oracle NoSQL数据库中调取数据,同时也支持Exadata上运行的Oracle关系型数据库。
应用案例
很多CIO非常关心Hadoop技术发展到什么程度了,还有没有成熟。其实CIO更应该关心的是自己的企业发展到什么程度了,适不适合使用Hadoop。没有完全成熟的技术,只有能否满足业务需求的产品。很多公司都应用了Hadoop技术,来看看今年曝光的应用案例吧!
美国电商eBay每天要处理100PB的数据,其中包括50TB的机器数据。它采用了三层平台战略,其中第三层平台就是Hadoop,eBay部署了两个2万节点的Hadoop集群,能处理80PB的数据。
数字媒体软件供应商Adobe公司运用SAP Data Service将Hadoop数据加载到SAP内存数据库HANA上。
思科首席数据架构师Bhargava带领他的团队从事开发Hadoop的工作,一些Hadoop用户案例已经投入市场,比如集成线下和线上客户信息。虽然现在Hadoop的规模还很小,但在接下来两年里,它会呈指数增长。
摘自:小象学院
- 2015也过去一半了,Hadoop大事件盘点
- 2004年又过去一半了,时间未免也太快了吧~~
- 盘点:2015年,谷歌在机器学习领域发生了哪些大事件?
- hadoop大事件
- 盘点2013it界大事件
- 2016年十大事件盘点:这一年我们经历了什么?
- 盘点一下过去
- 5月的最后一天了~2010年又快过去一半了!
- 过去十年科技业的十大事件
- 盘点2007年国内外金融大事件
- 盘点2008年网络安全行业十大事件
- 盘点2013中国比特币十大事件
- 盘点2014年信息安全大事件
- 盘点2014年信息安全大事件
- 盘点2014年邮件行业大事件
- 盘点家居建材圈七月十大事件
- 独家 | 盘点2017年度AI领域大事件!
- 盘点2017年度AI领域大事件
- LeetCode Implement Trie (Prefix Tree)
- view measure 过程
- vsftpd 500 OOPS: bad bool value in config file for: anon_world_readable_only
- CentOS7 Failed to start LSB: Bring up/down networking. 已解决!!!
- 新浪微博自动转发评论 源码 按键精灵实现 详细注释 几十行代码实现 涉及图像识别模拟键盘鼠标
- 2015也过去一半了,Hadoop大事件盘点
- Apple Watch使用感受杂谈——1
- WinDBG 技巧:如何生成Dump 文件(.dump 命令)
- 第11周-阅读继承和派生
- 性能测试、指标和优化 -- 性能相关总结
- Spring事务管理-使用注解配置事务
- 最牛B的编程套路
- shell判断和比较
- 2015年第十一周项目1:存储班长信息的学生类(1)