Oracle中SQL语句解析的步骤

 

转载地址：http://www.examda.com/oracle/zhonghe/20090214/100859541.html

我们都知道在Oracle中每条SQL语句在执行之前都需要经过解析，这里面又分为软解析和硬解析。那么这两种解析有何不同之处呢？它们又分别是如何进行解析呢？Oracle内部解析的步骤又是如何进行的呢？下面我们就这些话题进行共同探讨。
　　在Oracle中存在两种类型的SQL语句，一类为DDL语句，他们是从来不会共享使用的，也就是每次执行都需要进行硬解析。还有一类就是DML语句，他们会根据情况选择要么进行硬解析，要么进行软解析。在Oracle 8i OCP教材的023中1-12有说明SQL语句的解析步骤，当一条SQL语句从客户端进程传递到服务器端进程后，需要执行如下步骤：
　　• 在共享池中搜索 SQL 语句的现有副本
　　• 验证 SQL 语句的语法是否准确
　　• 执行数据字典查找来验证表和列的定义
　　• 获取对象的分析锁以便在语句的分析过程中对象的定义不会改变
　　• 检查用户访问引用方案对象的权限
　　• 确定语句的最佳执行计划
　　• 将语句和执行计划载入共享的 SQL 区
　　这个先入为主的概念一直占据着我的脑海，我认为硬解析就是上面几个步骤。相对于硬解析，软解析的步骤就是上面第一步找到现有SQL语句的副本后，只需要验证用户是否有权限执行就是了，这样省略上面好几个步骤，相对硬解析来说性能开销就非常小了。即使是在论坛上和大家讨论时，我也一直坚持这个看法。直到前一天看了Tom的《Effective Oracle By Design》中关于语句处理的章节后，我才知道这个自己一直坚持的观点事实上是错误的。
　　事实上，在Oracle中SQL语句的解析步骤如下：
　　1、 语法检测。判断一条SQL语句的语法是否符合SQL的规范，比如执行：SQL> selet * from emp；我们就可以看出由于Select关键字少了一个“c”，这条语句就无法通过语法检验的步骤了。
　　2、 语义检查。语法正确的SQL语句在解析的第二个步骤就是判断该SQL语句所访问的表及列是否准确？用户是否有权限访问或更改相应的表或列？比如如下语句：
　　SQL> select * from emp;
　　select * from emp
　　*
　　ERROR at line 1:
　　ORA-00942: table or view does not exist
　　由于查询用户没有可供访问的emp对象，因此该SQL语句无法通过语义检查。
　　3、 检查共享池中是否有相同的语句存在。假如执行的SQL语句已经在共享池中存在同样的副本，那么该SQL语句将会被软解析，也就是可以重用已解析过的语句的执行计划和优化方案，可以忽略语句解析过程中最耗费资源的步骤，这也是我们为什么一直强调避免硬解析的原因。这个步骤又可以分为两个步骤：
　　（1）验证SQL语句是否完全一致。在这个步骤中，Oracle将会对传递进来的SQL语句使用HASH函数运算得出HASH值，再与共享池中现有语句的HASH值进行比较看是否一一对应。现有数据库中SQL语句的HASH值我们可以通过访问v$sql、v$sqlarea、v$sqltext等数据字典中的HASH_VALUE列查询得出。如果SQL语句的HASH值一致，那么ORACLE事实上还需要对SQL语句的语义进行再次检测，以决定是否一致。那么为什么Oracle需要再次对语句文本进行检测呢？不是SQL语句的HASH值已经对应上了？事实上就算是SQL语句的HASH值已经对应上了，并不能说明这两条SQL语句就已经可以共享了。我们首先参考如下一个例子：假如用户A有自己的一张表EMP，他要执行查询语句：select * from emp；用户B也有一张EMP表，同样要查询select * from emp；这样他们两条语句在文本上是一模一样的，他们的HASH值也会一样，但是由于涉及到查询的相关表不一样，他们事实上是无法共享的。假如这时候用户C又要查询同样一条语句，他查询的表为scott下的公有同义词，还有就是SCOTT也查询同样一张自己的表emp，情况会是如何呢？
　　SQL> connect a/a
　　Connected.
　　SQL> create table emp ( x int );
　　Table created.
　　SQL> select * from emp;
　　no rows selected
　　SQL> connect b/b
　　Connected.
　　SQL> create table emp ( x int );
　　Table created.
　　SQL> select * from emp;
　　no rows selected
　　SQL> conn scott/tiger
　　Connected.
　　SQL> select * from emp;
　　SQL> conn c/c
　　Connected.
　　SQL> select * from emp;
　　SQL> conn/as sysdba
　　Connected.
　　SQL> select address,hash_value, executions, sql_text
　　2 from v$sql
　　3 where upper(sql_text) like ’SELECT * FROM EMP%’
　　4 /
　　ADDRESS HASH_VALUE EXECUTIONS SQL_TEXT
　　-------- ---------- ---------- ------------------------
　　78B89E9C 3011704998 1 select * from emp
　　78B89E9C 3011704998 1 select * from emp
　　78B89E9C 3011704998 2 select * from emp
　　我们可以看到这四个查询的语句文本和HASH值都是一样的，但是由于查询的对象不同，只有后面两个语句是可以共享的，不同情况的语句还是需要硬解析的。因此在检查共享池共同SQL语句的时候，是需要根据具体情况而定的。
　　我们可以进一步查询v$sql_shared_cursor以得知SQL为何不能共享的原因：
　　SQL> select kglhdpar, address,
　　2 auth_check_mismatch, translation_mismatch
　　3 from v$sql_shared_cursor
　　4 where kglhdpar in
　　5 ( select address
　　6 from v$sql
　　7 where upper(sql_text) like ’SELECT * FROM EMP%’ )
　　8 /
　　KGLHDPAR ADDRESS A T
　　-------- -------- - -
　　78B89E9C 786C9D78 N N
　　78B89E9C 786AC810 Y Y
　　78B89E9C 786A11A4 Y Y
　　TRANSLATION_MISMATCH表示SQL游标涉及到的数据对象是不同的；AUTH_CHECK_MISMATCH表示对同样一条SQL语句转换是不匹配的。
　　（2、）验证SQL语句执行环境是否相同。比如同样一条SQL语句，一个查询会话加了/*+ first_rows */的HINT，另外一个用户加/*+ all_rows */的HINT，他们就会产生不同的执行计划，尽管他们是查询同样的数据。我们下面就一个实例来说明SQL执行环境对解析的影响，我们通过将会话的workarea_size_policy变更来查看对同样一条SQL语句执行的影响：
　　SQL> alter system flush shared_pool;
　　System altered.
　　SQL> show parameter workarea_size_policy
　　NAME TYPE VALUE
　　------------------------------------ ----------- --------------
　　workarea_size_policy string AUTO
　　SQL> select count(*) from t;
　　COUNT(*)
　　----------
　　5736
　　SQL> alter session set workarea_size_policy=manual;
　　Session altered.
　　SQL> select count(*) from t;
　　COUNT(*)
　　----------
　　5736
　　SQL> select sql_text, child_number, hash_value, address
　　2 from v$sql
　　3 where upper(sql_text) = ’SELECT COUNT(*) FROM T’
　　4 /
　　SQL_TEXT CHILD_NUMBER HASH_VALUE ADDRESS
　　------------------------------ ------------ ---------- --------
　　select count(*) from t 0 2199322426 78717328
　　select count(*) from t 1 2199322426 78717328
　　可以看到由于不同会话workarea_size_policy设置得不同，即使是同样一条SQL语句还是无法共享的。通过进一步查询v$sql_shared_cursor我们可以发现两个会话的优化器环境是不同的：
　　SQL> select optimizer_mismatch
　　2 from v$sql_shared_cursor
　　3 where kglhdpar in
　　4 ( select address
　　5 from v$sql
　　6 where upper(sql_text) = ’SELECT COUNT(*) FROM T’ );
　　O
　　-
　　N
　　Y
　　通过如上三个步骤检查以后，如果SQL语句是一致的，那么就会重用原有SQL语句的执行计划和优化方案，也就是我们通常所说的软解析。如果SQL语句没有找到同样的副本，那么就需要进行硬解析了。
　　4、 Oracle根据提交的SQL语句再查询相应的数据对象是否有统计信息。如果有统计信息的话，那么CBO将会使用这些统计信息产生所有可能的执行计划（可能多达成千上万个）和相应的Cost，最终选择Cost最低的那个执行计划。如果查询的数据对象无统计信息，则按RBO的默认规则选择相应的执行计划。这个步骤也是解析中最耗费资源的，因此我们应该极力避免硬解析的产生。至此，解析的步骤已经全部完成，Oracle将会根据解析产生的执行计划执行SQL语句和提取相应的数据

概括点说：

1.sql解析的过程oracle首先将SQL文本转化为ASCII字符，然后根据hash函数计算其对应的hash值（hash_value）。根据计算出的hash值到library cache中找到对应的bucket，然后比较bucket里是否存在该SQL语句。如果不存在，获得shared pool latch，然后在shared pool中的可用chunk链表（也就是bucket）上找到一个可用的chunk，然后释放shared pool latch。在获得了chunk以后，这块chunk就可以认为是进入了library cache。然后，进行硬解析过程。对SQL语句进行语法检查，看是否有语法错误。比如没有写from等。如果有，则退出解析过程。 到数据字典里校验SQL语句涉及的对象和列是否都存在。如果不存在，则退出解析过程。 将对象进行名称转换。比如将同名词翻译成实际的对象等。如果转换失败，则退出解析过程。
检查游标里用户是否具有访问SQL语句里所引用的对象的权限。如果没有权限，则退出解析过程。 通过优化器创建一个最优的执行计划。这一步是最消耗CPU资源的。 将该游标所产生的执行计划、SQL文本等装载进library cache的若干个heap中。在硬解析的过程中，进程会一直持有library cach latch，直到硬解析结束。硬解析结束以后，会为该SQL产生两个游标，一个是父游标，另一个是子游标。父游标里主要包含两种信息：SQL文本以及优化目标（optimizer goal）。父游标在第一次打开时被锁定，直到其他所有的session都关闭该游标后才被解锁。当父游标被锁定的时候是不能被交换出library cache的，只有在解锁以后才能被交换出library cache，这时该父游标对应的所有子游标也被交换出library cache。子游标包括游标所有的信息，比如具体的执行计划、绑定变量等。子游标随时可以被交换出library cache，当子游标被交换出library cache时，oracle可以利用父游标的信息重新构建出一个子游标来，这个过程叫reload。可以使用下面的方式来确定reload的比率：
SELECT 100*sum(reloads)/sum(pins) Reload_Ratio FROM v$librarycache;
一个父游标可以对应多个子游标。子游标具体的个数可以从v$sqlarea的version_count字段体现出来。而每个具体的子游标则全都在v$sql里体现。当具体的绑定变量的值与上次的绑定变量的值有较大差异（比如上次执行的绑定变量的值的长度是6位，而这次执行的绑定变量的值的长度是 200位）时或者当SQL语句完全相同，但是所引用的对象属于不同的schema时，都会创建一个新的子游标。如果在bucket中找到了该SQL语句，则说明该SQL语句以前运行过，于是进行软解析。软解析是相对于硬解析而言的，如果解析过程中，可以从硬解析的步骤中去掉一个或多个的话，这样的解析就是软解析。软解析分为以下三种类型。
1) 第一种是某个session发出的SQL语句与library cache里其他session发出的SQL语句一致。这时，该解析过程中可以去掉硬解析中的5和6这两步，但是仍然要进行硬解析过程中的2、3、4步骤：也就是表名和列名检查、名称转换和权限检查。
2) 第二种是某个session发出的SQL语句与library cache里该同一个session之前发出的SQL语句一致。这时，该解析过程中可以去掉硬解析中的2、3、5和6这四步，但是仍然要进行权限检查，因为可能通过grant改变了该session用户的权限。
3) 第三种是当设置了初始化参数session_cached_cursors时，当某个session对相同的cursor进行第三次访问时，将在该 session的PGA里创建一个标记，并且该游标即使已经被关闭也不会从library cache中交换出去。这样，该session以后再执行相同的SQL语句时，将跳过硬解析的所有步骤。这种情况下，是最高效的解析方式，但是会消耗很大的内存。