[Spark]Shark, Spark SQL, Hive on Spark以及SQL On Spark的未来

来源:互联网 发布:600d套机拍摄淘宝图 编辑:程序博客网 时间:2024/03/29 18:36

随着Spark SQ的引入以及Hive On Apache Spark的新功能(HIVE-7292)的引入,我们对这两个项目的立场以及它们与Shark的关系有了很多的关注。在今天的Spark Summit上,我们宣布我们正在停止Shark的开发,并将资源全部集中在Spark SQL上,这将为现有Shark用户提供一个Shark特色的圈子(will provide a superset of Shark’s features for existing Shark users to move forward)。特别是,Spark SQL将提供从Shark 0.9服务器进行无缝升级途径,以及与Spark程序集成的新功能。

image

1. Shark

3年前Shark项目开始时,Hive(MapReduce)是Hadoop上SQL的唯一选择。Hive将SQL编译成可扩展的MapReduce作业,并可以使用各种格式(通过其SerDes)。 但是,它的性能不如理想。为了交互式查询,组织部署了昂贵的专有企业数据仓库(EDW),这些仓库需要严格且冗长的ETL管道( organizations deployed expensive, proprietary enterprise data warehouses (EDWs) that required rigid and lengthy ETL pipelines)。

Hive和EDW之间的表现形成了鲜明的对比,导致了行业内一个巨大的争议,质疑通用数据处理引擎查询处理的固有缺陷。 许多人认为SQL交互需要为查询处理提供一个昂贵的专门的运行时构建(例如,EDW)(Many believed SQL interactivity necessitates an expensive, specialized runtime built for query processing)。Shark将成为第一个基于Hadoop系统的交互式SQL之一,是唯一一个构建在通用运行框架(Spark)之上(Shark became one of the first interactive SQL on Hadoop systems, and was the only one built on top of a general runtime (Spark))。It demonstrated that none of the deficiencies that made Hive slow were fundamental, and a general engine such as Spark could marry the best of both worlds: it can be as fast as an EDW, and scales as well as Hive/MapReduce.

2. 从Shark到Spark SQL

Shark建立在Hive代码库上,通过交换Hive的物理执行引擎部分来实现性能提升(swapping out the physical execution engine part of Hive)。虽然这种方法使Shark用户能够加快其Hive查询,但Shark继承了Hive中庞大而复杂的代码库,从而难以优化和维护。 随着我们推动性能优化的边界,并将复杂分析与SQL集成,我们受到为MapReduce设计而遗留的限制。

正是由于这个原因,我们将结束Shark作为一个单独项目的开发,并将所有开发资源转移到Spark的新组件Spark SQL上。我们正在将我们在Shark中学到的内容应用到Spark SQL中,充分利用Spark的强大功能。这种新方法使我们能够更快地创新,并最终为用户带来更好的体验。

对于SQL用户,Spark SQL提供了最先进的SQL性能,并保持与Shark/Hive的兼容性。特别是像Shark一样,Spark SQL支持现有所有Hive数据格式,用户自定义函数(UDF)和Hive metastore。 随着将在Apache Spark 1.1.0中引入的功能,Spark SQL在TPC-DS性能方面比Shark好几乎一个数量级。

对于Spark用户,Spark SQL可以处理(半)结构化数据(Spark SQL becomes the narrow-waist for manipulating (semi-) structured data),以及从提供schema的数据源(如JSON,Parquet,Hive或EDW)中提取数据。它真正统一了SQL和复杂分析,允许用户混合和匹配SQL以及允许使用更多的命令式编程API进行高级分析。

对于开源黑客,Spark SQL提出了构建查询计划者的一种新颖优雅的方式。 在这个框架下添加新的优化是非常容易的。我们惊讶于 开源社区对Spark SQL所展示出的支持和热情,这在很大程度上得益于这一新设计。经过三个月的时间,40多个捐助者已经为此编写了代码。

3. Hive On Spark

虽然Spark SQL正在成为SQL on Spark的标准,但是我们确实意识到许多公司以及组织Hive的投资。 然而,这些组织中的很多也渴望迁移到Spark。Hive社区为该项目提出了一项新举措,将Spark添加为Hive的执行引擎之一。 对于这些组织,这项工作将为他们将执行迁移到Spark提供一条明确的途径。我们很高兴与Hive社区合作和支持,为最终用户提供平滑的体验。

总之,我们坚信Spark SQL将不仅是SQL,而且还是Spark进行结构化数据处理的未来。

原文:https://databricks.com/blog/2014/07/01/shark-spark-sql-hive-on-spark-and-the-future-of-sql-on-spark.html