MapR宣布对Spark的完全支持
来源:互联网 发布:淘宝宝贝数量多少合适 编辑:程序博客网 时间:2024/04/28 18:38
MapR是知名的Hadoop供应商,最近该公司为其Hadoop发行版中添加了完整的Spark堆栈。这是一项明智之举,更说明Spark很可能成为未来的数据处理框架。
MapR也是应用Apache Spark的先驱者,周二,MapR宣布将整合Spark栈至其Hadoop版本,并将此作为与Spark初创公司Databricks(Opm Stoica,创始人及CEO,见上图)合作的一部分。Spark使处理大数据工作负载变得更为便捷,也使得大数据工作负载编程变得更容易。
Spark最初是加州伯克利大学开发的一款内存处理框架,随后它逐渐流行起来,但它真正的崛起还是在2013年9月——被Databricks正式推出。随后,Cloudera将Spark整合到其Hadoop发行版(作为与Databricks合作的一部分)。同时,许多按Hadoop设计的项目和公司都计划将支持Spark或直接转向Spark。
这其中包括Cloudera的Oryx项目,分析初创公司Platfora,甚至包括Apache Mahout项目;也包括参与Databricks认证程序的公司们。
Spark现在如此盛行,这是因为它既做到了MapReduce可以做到的,还做到了MapReduce没能做到的。MapReduce是传统的Hadoop数据处理框架,它速度慢(它采用的是批处理),编程繁琐。Spark快捷、灵活——这使得Spark可以更好的处理诸如机器学习、图形处理和、交互式查询类的任务——而且易于编程。Spark是用Scala写的,不过它也支持Java,Python与R语言。
YARN是资源管理系统,也是Hadoop 2.0的一部分,YARN允许多处理框架同时运行于同一集群,这些框架都有访问Hadoop分布式文件系统进行存储的权限。这使得Hadoop对Spark的支持成为可能。
MapR的这条新闻最有趣的地方是,MapR提供了对Spark栈的全部支持——这包括Shark SQL查询引擎(它本质上说一个更快Apache Hive)和MLLib机器学习库——然而Cloudera却不支持Shark。这大概是因为Cloudera还在力推它的Impala SQL查询引擎,而MapReduce也没有包括这个引擎。MapR一直引领交互SQL查询项目Apache Drill的发展;此外随着Drill的到来,MapR也添加了对HP Vertica的本地支持。
从MapR的角度,通过整合Spark这一用户需求的功能提高了其在业界的地位(先前MapR受到的关注度是远少于竞争对手Cloudera和Hortonworks的)。例如,MapR现在开发了自己的HBase NoSQL数据存储,相较于其他Hadoop发行版包含的开源版本,这个数据存储功能更齐全。
正是诸如Spark类的技术——以及任何可以运行在YARN上的技术——使得Hadoop成为有潜力颠覆现有数据行业供应商的新生力量。Apache Hadoop一直提供廉价、开源的存储,不过现在生态系统已经将Hadoop变为一个可以在数据之上做很多事情的平台。在未来的几年,我们将看到更多的分析应用、甚至是数据库采用Spark或类似的技术作为引擎。
原文:Spark is now part of MapR’s Hadoop distro, too
【敬请添加微信公众号:数据堂 微信号:datatang】
- MapR宣布对Spark的完全支持
- 宣布公开发布 Service Bus 对 AMQP 的支持
- MapR对HBase和HDFS的改造
- Spark上对SequenceFile的支持
- 树梅派应用8:Fedora项目团队宣布添加对树莓派2和3的系统支持
- MapR CEO对2016大数据的5个预测
- ThinkPHP对Ajax完全支持
- ThinkPHP对Ajax完全支持
- 值得期待:Go对WebAssmbly的完全支持
- Novell宣布支持MeeGo
- HP宣布停止支持所有版本的WinRunner
- HP宣布停止支持所有版本的WinRunner
- Google宣布支持Vulkan作为Android的底层图形API
- Google 宣布 Android 将加入 Java 8 的原生支持
- MapR的安装指南中文版
- spark所支持的文件格式
- Flock官方宣布,对其浏览器产品支持已经结束,请支持者使用Chrome或Firefox
- sun公司宣布完成对mysql的并购
- iOS开发之五:常用控件--UITextField的使用
- JMX 平台MXBean
- 正则表达式match和findall的区别
- 让Quick-Cocos2dx支持HTTPS协议
- JVM学习笔记(四)------内存调优
- MapR宣布对Spark的完全支持
- 详细讲解PHP调用.net webservice
- Android通过反射机制获取目录下的文件名
- 肥胖体寒
- EL表达式取Map,List值的总结
- IE 默认运行js脚本设置
- curl_easy_getinfo() -- 从 curl 句柄里获得附加信息
- C++11标准后的C++阅读书目
- FFMPEG架构分析