Java-hive【未完成】

http://blog.sina.com.cn/s/blog_69d0d3310100up3b.html

1，我的理解

hive就是一个将sql语句转化为MR的工具。

2，hive的工作原理

1、使用antlr定义sql语法，（详细见hive.g），由antlr工具将hive.g编译为主要的两个java文件：HiveLexer.java    HiveParser.java，可以将输入的sql解析为ast树。

更具体的，传入hive.g，将传出这样几个文件：再看目录下会增加几个文件 ：

HiveParser.java 
Hive.tokens 
Hive__.g 
HiveLexer.java 
HiveLexer.java和 HiveParser.java分别是生成的对应词法和语法分析类文件 。
Hive__.g对应HiveLexer.java的词法分析规范 。
Hive.tokens定义了词法分析后的所有token 。
2、org.apache.hadoop.hive.ql.Driver对ast树进行初步的解析（combile），调用相应的语法分析器进行分析处理（包括DDl，Explain，Load等，其中最重要的是：SemanticAnalyzer）
3、SemanticAnalyzer的主要分析过程：调用analyzeInternal函数
1）doPhase1过程：主要是将sql语句中涉及到的各种信息存储起来，存到QB中去，供后续调用
2）getMetaData：这个过程主要是获取元数据信息，主要是sql中涉及到的表到元数据的关联
3）genPlan：这是最重要的过程之一，主要是生成算子树（operator tree）
4）optimize：优化，对算子树进行一些优化操作，例如列剪枝等
5）genMapRedTasks：这个步骤是最关键的步骤，将算子树通过一定的规则生成若干相互以来的MR任务
4、Driver编译完成以后，开始进入执行阶段（execute），执行过程按照任务树从roottask开始依次执行，直至结束。
genplan是语法分析最重要的一个阶段，在genplan过程中生成一个算子树。


1、一条sql语句的结构：
一条sql主要包括，insert子句，select子句，from子句，groupby子句，以及其他的条件子句，如limit，orderby 等，还有join和union等操作符。其中的from子句，一般可以直接跟一个表，多个表（笛卡尔积等同于join），或者一个子查询，或者由join 或union连接的两个表，或者两个子查询。包含子查询则意味着sql语句自身会包含这一些递归的操作。

2、hive对一条sql执行的过程：
一条sql语句（以查询sql为例）的目的最终是将一个表或者若干个表中的所有行数据，一条一条的进行处理，最终生成一组目标记录。为了实现这样的目的，首先将处理过程分解为若干个算子，将初始的表数据记录依次通过这些算子来计算，最终得出结果。例如：select a from tbl where b>1 order by c，对于这条sql，首先需要一个ts（table scan）算子，从表中读出数据，然后读出的数据经过一个fil（filter）算子，过滤那些不满足条件b>1的数据，最后经过一个fetch算 子，将正确的数据返回。对于任意复杂的sql语句都可以生成这样的算子树进行处理。

3、genplan的过程：有了以上信息以后可以根据ast树生成算子树
1）任何一个查询子句首先检查这个子句有没有子查询语句，如果有首先递归的对子查询语句进行处理得出子查询的算子树，这个算子树的唯一输出算子，作为本查询的输入算子。
2）一个查询子句的输入来源，要么是子查询语句，要么就是来自表 ，那么一个查询在处理完子查询以后，要对输入表进行处理，生成一个tablescan算子
3）生成genLateralViewPlans算子？？
4）对于from子句包含join的查询语句来说，这里必须对join进行处理，生成join算子
5）以上的处理都集中于输入数据的算子处理上，完成这些以后进入genbodyplan，主要处理select子句，groupby等子句
6）对于每个输入源，分析过滤条件，生成一个FilterOperator作为一个子op
7）生成groupby operator
8）生成hiveing operator
9）生成select operator
10）生成filesink operator


以上就是operator tree，实际上这个数据结构不一定有唯一的根节点，也并不一定有唯一的归宿节点，最终按照这个树即可实现sql的语义


。