晚期（运行期）优化

1、概述

        当虚拟机发现某个方法或者代码块的运行特别的频繁时，就会把这个代码认定为“热点代吗”。为了提高热点代码的运行效率，在运行时，虚拟机将会把这个代码编译成与本地平台相关的机器码，并进行各种层次的优化，完成这个任务的编译器成为即时编译器（JIT）。

        即时编译器并不是虚拟机必须的部分，但它是虚拟机中最核心且最能体现虚拟机技术水平的部分。

2、HotSpot虚拟机内的即时编译器

2.1 解释器与编译器

        尽管不是所有的Java虚拟机都采用解释器与编译器并存的架构，但许多主流的商用虚拟机，如HotSpot、C9等，都同时包含了解释器和编译器。当程序需要迅速启动和执行的时候，解释器可以首先发挥作用，省去编译的时间，立即执行。在程序运行后，随着时间的推移，编译器逐渐发挥作用，把越来越多的代码编译成本地代码之后，可以获取更高的执行效率。

        HotSpot虚拟机内置两个即时编译器，分别称为Client Compiler和Server Compiler，或者简称为C1编译器和C2编译器。

        由于即时编译器编译本地代码需要占用程序运行时间，要编译出优化程序更高的代码，所花费的时间可能更长；并且想要编译出优化程序更高的代码，解释器可能还要提编译器收集性能监控信息，这对解释执行的速度也有影响。为了在程序启动响应速度与运行效率之间达到最佳平衡，HotSpot虚拟机还会逐渐启动分层编译的策略。分层编译根据编译器编译、优化的规模与耗时，划分出不同的编译层次，包括：

        1）第0层，程序解释执行，解释器不开启性能监控功能，可触发第1层编译。

        2）第1层，也称为C1编译，将字节码编译成本地代码，进行简单、可靠的优化，如有必要将加入性能监控的逻辑。

        3)   第2层，也称为C2编译，也是将字节码编译为本地代码，但是会启动一下编译耗时较长的优化，甚至会根据性能监控信息进行一些不可靠的激进优化。

        实施分层编译后，Client Compiler和Server Compiler 将会同时工作，许多代码都可能会多次编译，C1获取更高的编译速度，用C2获取更好的编译质量，在解释时候的时候也无须再承担收集性能监控信息的任务。

2.2 编译对象与触发条件

        在运行过程中，会被即时编译器编译的“热点代码”有两类，即：

        1）被多次调用的方法

        2）被多次执行的循环体

        对于第一种情况，由于是由方法调用触发的编译器，因为编译器理所当然地会整个方法作为编译对象，这种编译也是虚拟机中标准的JIT编译方式。对于后一种情况，尽管编译动作是由循环体所触发的，但编译期依然会以整个方法（而不是单独的循环体）作为编译对象。这种编译方式因为发生在方法体执行过程中，成为栈上替换。

        判断一段代码是不是热点代码，是不是需要触发即时编译，这种行为成为热点探测。两种方法：

        1）基于采样的热点探测：周期性地检查各个线程的栈顶，如果发现某个方法经常出现在栈顶，就认为“热点方法”。

        2）基于计数器的热点探测：为每个方法建立计数器。

        HotSpot虚拟机使用的是第二种——基于计数器的热点探测方法，因此它为每个方法准备了两类计数器：方法调用计数器和回边计数器。每个计数器都有一个确定的阈值，当计数器超过阈值溢出了，就会触发JIT编译。

        1）方法调用计数器

        当超过一定的时间限度，如果方法的调用次数仍然不足以让他提交给即时编译器编译，那个方法的调用计数器就会被减少一半，这个过程称为方法调用计数器热度的衰弱，这段时间称为半衰周期。

        2）回边计数器

        它的作用是统计一个方法中循环体代码执行的次数，在字节码中遇到控制流向后跳转的指令称为“回边”。显然，建立回边计数器统计的目的就是为了触发OSR编译。

        与方法计数器不同，回边计数器没有计数热度衰减的过程，因此这个计数器统计的就是该方法循环执行的绝对次数。当计数器溢出的时候，它还会把方法计数器的值调整到溢出状态，这样下次再进入该方法的时候就会执行标准编译过程。

2.3 编译过程

        在默认情况下，无论是方法调用产生的即时编译请求，还是OSR编译请求，虚拟机在代码编译器还未完成之前，都仍然将按照解释方法继续执行，而编译动作则在后台的编译线程中进行。

        1、Client Compiler ，它是一个简单快速的三段式编译器，主要的关注点在于局部性的优化，而放弃了耗时较长的全局优化手段。

                1）第一阶段，在一个平台独立的前端也将字节码构成一种高级中间代码表示（HIR）。

                2）第二阶段，一个平台相关的后端从HIR中产生低级中间代码表示（LIR）。

                3）第三阶段，在平台相关的后端使用线性扫描算法在LIR上分配寄存器，并在LIR上做窥孔优化，然后产生机器代码

        2、Server Compiler，专门面向服务端的典型应用并为服务端的性能配置特别调整过的编译器，也是一个充分优化过的高级编译器。

3、编译优化技术

        即时编译产生的本地代码会比Javac产生的字节码更加优秀。

        接下来介绍几项最具代表性的优化技术。

                语言无关的经典优化技术之一：公共子表达式的消除。

                语言相关的经典优化技术之一：数组范围检查消除。

                最重要的优化技术之一：方法内联。

                最前沿的优化技术之一：逃逸分析。

3.1 公共子表达式的消除

        如果一个表达式E已经计算过了，并且从先前的计算到现在E中所有变量的值都没有发生变化，那么E的这次出现就成为了公共子表达式。如果这种优化仅限于程序的基本块内，便称为局部公共子表达式消除，如果这种优化的范围涵盖了多个基本块，那就称为全局公共子表达式消除。

        例如：

                int d = ( c * b ) * 12 + a + ( a + b * c );

        Javac编译器将不会任何优化

                

        即时编译器：

                int d = E * 12 + a +( a + E );

        这时，编译器还可能进行另外一种优化：代数化简：

                int d = E * 12 + a * 2 ;

3.2 数组边界检查消除

        数组边界检查消除是即时编译器中的一项语言相关的经典优化技术。

        在编译期根据数据流分析确定foo.length的值，并判断下标“3”没有越界，执行的时候就无需判断了。更加常见的情况是数组访问发生在循环之中，并且使用循环变量来进行数组访问，如果编译器只要通过数据流分析就可以判定循环变量的取值范围永远在区间[0,foo.length)之内，那在整个循环中就可以把数组的上下界检查消除，这就可以节省很多次的条件判断操作。

        除了数组边界检查优化之外，还有一种避免思路——隐式异常处理，Java中空指针指针和算术运算中除数为零的检查都采用了这种思路。

3.3 方法内联

        把目标方法的代码“复制”到发起调用的方法之中，避免发生真是的方法的调用。

3.4 逃逸分析

        逃逸分析的基本行为就是分析对象的动态作用域：当一个对象在方法中被定义后，他可能被外部方法所引用，例如作为调用参数传递到其他方法中，成为方法逃逸。甚至还有可能被外部的线程访问到，譬如赋值给类变量或者可以再其他线程中访问的实例变量，称为线程逃逸。

        如果能证明一个对象不会逃逸到方法或线程之外，则可能为这个变量进行一些高效的优化，如下所示。

        1）栈上分配

        2）同步消除

        3）标量替换

        但是这些技术不是特别成熟。

4、Java与C/C++的编译器对比

        Java虚拟机的即时编译器与C/C++静态优化编译器相比，可能会由于下面些原因而导致输出的本地代码有一些劣势。

        1）因为即时编译器运行占用的是用户程序的运行时间，具有很大的时间压力，它能提供的优化手段也受制于编译成本。

        2）Java语言是动态的类型安全语言，这就意味着需要由虚拟机来确保程序不会违反语言语义或访问非结构化内存。

        3）Java使用虚方法的频率远远大于C语言，即时编译器在进行一些优化时的难度也远大于C/C++静态优化编译器。

        4）Java语言是可以动态扩展的语言，运行时加载新的类可能改变程序类型的继承关系，这使得全局的优化都难以进行，许多全局的优化措施都只能以激进优化的方式来完成，编译器不得不时刻注意并随着类型的变化而运行时撤销或重新进行一些优化。

        5）Java语言对象的内存非配都是在堆上进行的，只有方法的局部变量才能在栈上分配，C/C++有多种内存分配方式。