Spark SQL Catalyst深入理解
来源:互联网 发布:冷艳锯 知乎 编辑:程序博客网 时间:2024/05/18 09:30
阅读材料:
SparkSQL – 从0到1认识Catalyst http://www.dataguru.cn/article-10731-1.html
此篇文章介绍了Spark SQL如何将SQL语句转化为Spark物理执行计划的详细过程
重点归纳:
sqltext 经过 parser 得到 语法树(unresolvedlogicalplan),unresolvedlogicalplan 经过 analyser (根据catalog 对relations、function、数据存储物理位置的记录)对语法树字段、函数解析绑定得到resolvedlogicalplan,resolvedlogicalplan经过 optimizer 得到 optimisedplan(利用rule调整 比如谓词下推、列值裁剪、常量累加)
最后 解析得到 物理执行计划(转化为能在Spark上运行的RDD算子操作树)
阅读过程中遇到的疑难:
关系型数据库 join连接方式 hashjoin 、sortjoin 到底是怎样实现的:
多表连接的三种方式详解 HASH JOIN MERGE JOIN NESTED LOOP
http://blog.csdn.net/tianlesoftware/article/details/5826546
Oracle表分区分为四种:范围分区,散列分区,列表分区和复合分区
http://blog.csdn.net/oyzl68/article/details/8142617
阅读全文
0 0
- Spark SQL Catalyst深入理解
- spark-sql-catalyst
- Spark SQL -- Catalyst
- Spark SQL Catalyst源码分析之SqlParser
- Spark SQL Catalyst源码分析之Analyzer
- Spark SQL Catalyst源码分析之Optimizer
- Spark SQL Catalyst源码分析之Analyzer
- Spark SQL Catalyst源码分析之UDF
- 45:神速理解Spark中的新解析引擎Catalyst
- spark sql和catalyst实例结合源码分析
- Spark SQL Catalyst源码分析之TreeNode Library
- Spark SQL Catalyst源码分析之Physical Plan
- 第67课:解密spark sql 内核Tungsten和Catalyst
- spark架构深入理解
- 深入理解spark内核
- Spark Catalyst 源码分析
- Spark Catalyst 源码分析
- spark sql 中 java.lang.ClassCastException: org.apache.spark.sql.catalyst.expressions.Gener
- Redis 数据库架构
- FastDFS详细安装步骤,测试;Nginx中配置FastDFS,并提供优化,下载方法,楼主已测
- 文章标题 AngularJs表单验证
- Bellman-Ford算法的实现
- 软件推荐
- Spark SQL Catalyst深入理解
- LeetCode-114. Flatten Binary Tree to Linked List
- display:table的用法
- 股票利益最大化
- Github综合
- 大话设计模式----工厂模式
- 自考总结-2017.10.22
- SpringBoot学习笔记
- struts2拦截器