笔记--高效并发(一)

1 概述

  一个服务端同时对多个客户端提供的并发应用服务，每秒的事务处理数（TPS）是最重要的指标之一，它代表着一秒内服务端平均能响应的请求总数，而TPS值则与程序的并发能力又有着非常密切的关系。

2 硬件的效率与一致性

  由于计算机的存储设备与处理器的运算速度有几个数量级的差距,所以现代计算机系统都不得不加入一层读写速度尽可能接近处理器运算速度的高速缓存(Cache)来作为内存与处理器之间的缓冲:将运算需要使用到的数据复制到缓存中,让运算能快速进行,当运算结束后再从缓存同步回内存之中,这样处理器就无须等待缓慢的内存读写了。

  基于高速缓存的存储交互很好地解决了处理器与内存的速度矛盾,但是也为计算机系统带来更高的复杂度,因为它引入了一个新的问题:缓存一致性(Cache Coherence)。在多处理器系统中,每个处理器都有自己的高速缓存,而它们又共享同一主内存(Main Memory),如图12-1所示。当多个处理器的运算任务都涉及同一块主内存区域时,将可能导致各自的缓存数据不一致,如果真的发生这种情况,那同步回到主内存时以谁的缓存数据为准呢?为了解决一致性的问题,需要各个处理器访问缓存时都遵循一些协议,在读写时要根据协议来进行操作,这类协议有MSI、MESI(Illinois Protocol)、MOSI、Synapse、Firefly及Dragon Protocol等。

参考：

计算机的存储体系：

除了增加高速缓存外，为了是的处理器内部运算单元能尽量被充分利用，处理器可能会对输入代码进行乱序执行（Out-Of-Other Execution）优化

3 Java中的内存模型

  Java内存模型（Java Memory Model ，JMM），用来屏蔽掉各种硬件和操作系统的内存访问差异，实现Java的平台无关系

3.1 主内存与工作内存

  该模型的主要目标是定义程序中各个变量的访问规则，即在虚拟机中将变量存储到内存和从内存中取出变量这样的细节。此处的变量(Variables)与Java编程中所说的变量有所区别,它包括了实例字段、静态字段和构成数组对象的元素,但不包括局部变量与方法参数,因为后者是线程私有的 ,不会被共享,自然就不会存在竞争问题。

  Java内存模型规定所有变量都需要存储在主内存中（与物理硬件的主内存名字一样，两者可以类比，但此处仅是虚拟机内存的一部分）。每条线程还有自己的工作内存（可与物理硬件的高速缓存类比），工作内存中保存了被线程所使用到的变量的主内存副本拷贝，线程对变量的所有操作都必须在工作内存，而不能直接操作主内存。

  

3.2 内存间交互操作

  Java内存模型定义了以下八种操作来完成主内存与工作内存之间具体的交互协议。

lock(锁定):作用于主内存的变量,它把一个变量标识为一条线程独占的状态。

unlock(解锁):作用于主内存的变量,它把一个处于锁定状态的变量释放出来,释放后的变量才可以被其他线程锁定。

read(读取):作用于主内存的变量,它把一个变量的值从主内存传输到线程的工作内存中,以便随后的load动作使用。、

load(载入):作用于工作内存的变量,它把read操作从主内存中得到的变量值放入工作内存的变量副本中。

use(使用):作用于工作内存的变量,它把工作内存中一个变量的值传递给执行引擎,每当虚拟机遇到一个需要使用到变量的值的字节码指令时将会执行这个操作。

assign(赋值):作用于工作内存的变量,它把一个从执行引擎接收到的值赋给工作内存的变量,每当虚拟机遇到一个给变量赋值的字节码指令时执行这个操作。

store(存储):作用于工作内存的变量,它把工作内存中一个变量的值传送到主内存中,以便随后的write操作使用。

write(写入):作用于主内存的变量,它把store操作从工作内存中得到的变量的值放入主内存的变量

  要把变量从主内存复制到工作内存 先read再load

  要把变量从工作内存同步回主内存 先store再write

  以上操作必须顺序执行，但并非连续执行，另外的规则如下

不允许read和load、store和write操作之一单独出现,即不允许一个变量从主内存读取了但工作内存不接受,或者从工作内存发起回写了但主内存不接受的情况出现。

不允许一个线程丢弃它的最近的assign操作,即变量在工作内存中改变了之后必须把该变化同步回主内存。

不允许一个线程无原因地(没有发生过任何assign操作)把数据从线程的工作内存同步回主内存中。一个新的变量只能在主内存中“诞生”,不允许在工作内存中直接使用一个未被初始化(load或assign)的变量,换句话说,就是对一个变量实施use、store操作之前,必须先执行过了assign和load操作。

一个变量在同一个时刻只允许一条线程对其进行lock操作,但lock操作可以被同一条线程重复执行多次,多次执行lock后,只有执行相同次数的unlock操作,变量才会被解锁。

如果对一个变量执行lock操作,那将会清空工作内存中此变量的值,在执行引擎使用这个变量前,需要重新执行load或assign操作初始化变量的值。

如果一个变量事先没有被lock操作锁定,那就不允许对它执行unlock操作,也不允许去unlock一个被其他线程锁定住的变量。

对一个变量执行unlock操作之前,必须先把此变量同步回主内存中(执行store、write操作)。

3.3 对volatile型变量的特殊规则

  将变量定义为volatile后，它具备两种特性。第一时保证此变量对所有线程的可见性，即当一条线程修改了这个变量的值，新值对于其它线程来说时可以立即得知的。也就是说，在任何时刻任何线程对volatile声明的变量进行读取，是此时的正确值，是在主内存的值。

  由于volatile变量只能保证可见性,在不符合以下两条规则的运算场景中,我们仍然要通过加锁(使用synchronized或java.util.concurrent中的原子类)来保证原子性。运算结果并不依赖变量的当前值,或者能够确保只有单一的线程修改变量的值。变量不需要与其他的状态变量共同参与不变约束。

  使用volatile变量的第二个语义是禁止指令重排序优化,普通的变量仅仅会保证在该方法的执行过程中所有依赖赋值结果的地方都能获取到正确的结果,而不能保证变量赋值操作的顺序与程序代码中的执行顺序一致。  

3.4 对于long和double型变量的特殊规则

  Java内存模型要求lock、unlock、read、load、assign、use、store、write这8个操作都具有原子性,但是对于64位的数据类型(long和double),在模型中特别定义了一条相对宽松的规定:允许虚拟机将没有被volatile修饰的64位数据的读写操作划分为两次32位的操作来进行,即允许虚拟机实现选择可以不保证64位数据类型的load、store、read和write这4个操作的原子性,这点就是所谓的long和double的非原子性协定(Nonatomic Treatment ofdouble and long Variables)。

  但是目前各种平台下的商用虚拟机几乎都选择把64位数据的读写操作作为原子操作来对待,因此我们在编写代码时一般不需要把用到的long和double变量专门声明为volatile。

3.5 原子性、可见性和有序性

  原子性：原子性不论是多核还是单核，具有原子性的量，同一时刻只能有一个线程来对它进行操作！

  可见性：可见性是指当一个线程修改了共享变量的值,其他线程能够立即得知这个修改。除了volatile之外,Java还有两个关键字能实现可见性,即synchronized和final。同步块的
可见性是由“对一个变量执行unlock操作之前,必须先把此变量同步回主内存中(执行store、write操作)”这条规则获得的,而final关键字的可见性是指:被final修饰的字段在构造器中一旦初始化完成,并且构造器没有把“this”的引用传递出去(this引用逃逸是一件很危险的事情,其他线程有可能通过这个引用访问到“初始化了一半”的对象),那在其他线程中就能看见final字段的值。

  有序性：如果在本线程内观察,所有的操作都是有序的;如果在一个线程中观察另一个线程,所有的操作都是无序的。前半句是指“线程内表现为串行的语义”(Within-Thread As-If-Serial Semantics),后半句是指“指令重排序”现象和“工作内存与主内存同步延迟”现象。

3.6 现行发生原则

4.1 线程的实现

  线程时CPU调度的基本单位

  实现线程主要有三种方式：使用内核实现、使用用户线程实现和使用用户线程加轻量级进程混合实现

  Java的线程实现：Windows和Linux版本的的JDK都是使用一对一的线程实现，一条Java线程就对应到一条轻量级进程之中；而在Solaris平台中，不仅可以使用一对一的线程实现，还可以采用多对多实现

4.2 Java线程调度

  线程调度是指系统为线程分配处理器使用权的过程，主要的调度方式由两种：协同式线程调度和抢占式线程调度

  如果使用协同式调度的多线程系统,线程的执行时间由线程本身来控制,线程把自己的工作执行完了之后,要主动通知系统切换到另外一个线程上。

  如果使用抢占式调度的多线程系统,那么每个线程将由系统来分配执行时间,线程的切换不由线程本身来决定(在Java中,Thread.yield()可以让出执行时间,但是要获取执行时间的话,线程本身是没有什么办法的)。

4.3 状态转换

  Java语言定义了5种线程状态,在任意一个时间点,一个线程只能有且只有其中的一种状态,这5种状态分别如下。

新建(New):创建后尚未启动的线程处于这种状态。

运行(Runable):Runable包括了操作系统线程状态中的Running和Ready,也就是处于此状态的线程有可能正在执行,也有可能正在等待着CPU为它分配执行时间。

无限期等待(Waiting):处于这种状态的线程不会被分配CPU执行时间,它们要等待被其他线程显式地唤醒。以下方法会让线程陷入无限期的等待状态:
●没有设置Timeout参数的Object.wait()方法。
●没有设置Timeout参数的Thread.join()方法。
●LockSupport.park()方法。

限期等待(Timed Waiting):处于这种状态的线程也不会被分配CPU执行时间,不过无须等待被其他线程显式地唤醒,在一定时间之后它们会由系统自动唤醒。以下方法会让线程进入限期等待状态:
●Thread.sleep()方法。

●设置了Timeout参数的Object.wait()方法。
●设置了Timeout参数的Thread.join()方法。
●LockSupport.parkNanos()方法。
●LockSupport.parkUntil()方法。

阻塞(Blocked):线程被阻塞了,“阻塞状态”与“等待状态”的区别是:“阻塞状态”在等待着获取到一个排他锁,这个事件将在另外一个线程放弃这个锁的时候发生;而“等待状态”则是在等待一段时间,或者唤醒动作的发生。在程序等待进入同步区域的时候,线程将进入这种状态。结束(Terminated):已终止线程的线程状态,线程已经结束执行。