spark-sql 不兼容的hive语法列表
来源:互联网 发布:linux 当前路径命令 编辑:程序博客网 时间:2024/04/28 23:02
1.hive的主要特性:
spark不支持hive的桶(bucket)
2.深奥的hive特性
(1)不支持union数据类型(注意:是数据类型,不是sql语法中的union)
(2)不支持unique join
(3)不支持列统计信息收集
3.Hive Input/Output Formats
不支持hadoop文件归档(hadoop archive)
4.Hive的优化特性
(1)不支持hive的索引
(2)对于join和group by操作,不能自动的决定reduce的数量。可以通过设置SET spark.sql.shuffle.partitions=[num_tasks]来设置shuffle的并行度(对于spark-sql来说,默认是shuffle并行度是200,对于其他spark程序来说,默认是占有的executor的cpu的数量)
(3)查询元数据信息必须启动executor,而不像hive那样不需要启动计算资源
(4)不支持hive的数据倾斜(Skew data flag)标志
(5)不支持hive的STREAMTABLE join的标志
(6)对于查询结果不支持小文件合并
5.经过测试发现,spark不支持 insert overwrite/into directory 语法。
spark不支持hive的桶(bucket)
2.深奥的hive特性
(1)不支持union数据类型(注意:是数据类型,不是sql语法中的union)
(2)不支持unique join
(3)不支持列统计信息收集
3.Hive Input/Output Formats
不支持hadoop文件归档(hadoop archive)
4.Hive的优化特性
(1)不支持hive的索引
(2)对于join和group by操作,不能自动的决定reduce的数量。可以通过设置SET spark.sql.shuffle.partitions=[num_tasks]来设置shuffle的并行度(对于spark-sql来说,默认是shuffle并行度是200,对于其他spark程序来说,默认是占有的executor的cpu的数量)
(3)查询元数据信息必须启动executor,而不像hive那样不需要启动计算资源
(4)不支持hive的数据倾斜(Skew data flag)标志
(5)不支持hive的STREAMTABLE join的标志
(6)对于查询结果不支持小文件合并
5.经过测试发现,spark不支持 insert overwrite/into directory 语法。
0 0
- spark-sql 不兼容的hive语法列表
- Spark SQL兼容Hive及扩展
- SQL中数据库之间不兼容的语法汇总
- spark-sql(不包含hive-sql)查询编程
- Spark兼容Hive入门解析
- Spark SQL与Hive的关系
- Spark SQL 支持的Hive内置函数
- Spark SQL 整合Hive的使用
- Spark-sql支持的sql语法
- [Spark]Shark, Spark SQL, Hive on Spark以及SQL On Spark的未来
- Spark SQL with Hive
- Spark SQL+Hive历险记
- spark sql on hive
- spark-sql读取hive
- spark-sql 结合 hive
- spark sql with hive
- Spark Hive SQL实例
- Spark SQL Hive Tables
- 【层级结构】Ext.js5视图模型和数据绑定(下)
- 关于AFHTTPRequestOperationManager跟AFURLSessionManager的区别
- 去除静态tableView假cell的分割线
- 使用Jenkins配置自动化构建
- memcache 安装配置
- spark-sql 不兼容的hive语法列表
- 写给做设计的自己的四个建议
- javascript DOM innerHTML createElement createTextNode
- Java文件锁
- 数据结构之排序算法
- LeetCode-Linked List
- 基础练习 十六进制转八进制
- python实用技巧(一)
- 模板生成系统