Spark-Sql版本升级对应的新特性汇总

来源：互联网发布：node v6.2.2 x64.msi 编辑：程序博客网时间：2024/06/06 01:14

SparkSQL的前身是Shark。由于Shark自身的不完善，2014年6月1日Reynold Xin宣布：停止对Shark的开发。SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等，重新开发SparkSQL。

Spark-1.1 ：2014年9月11日，发布Spark1.1.0。Spark从1.0开始引入SparkSQL（Shark不再支持升级与维护）。Spark1.1.0变化较大是SparkSQL和MLlib

Spark-1.2 : 开始支持外部数据源

Spark-1.3 ：增加 DataFrame新API

Spark-1.4 ：增加分析开窗函数

Spark 1.5 ： Hive中有UDF与UDAF，Spark中对UDF支持较早，UDAF：User Defined Aggregate Function。用户自定义聚合函数，是直到Spark 1.5.x才引入的最新特性。参考文章： Spark编写UDAF自定义函数

Spark-1.6 ：执行的sql中可以增加 "--" 注释 Spark-1.5/1.6的新特性

Spark-2.x ： jdk强依赖1.8

阅读全文

0 0