Java IO工作机制

Java IO工作机制

参考资料:1.深入分析JavaWeb技术内幕

2.Linux磁盘及IO工作解析

3.Java NIO系列教程

1.Java IO类库框架

1.1 IO类型

基于字节操作的IO接口:InputStream和OutputStream.

基于字符操作的IO接口:Reader和Writer.

基于磁盘操作的IO接口:File.

基于网络操作的IO接口:Socket.

前两组主要是传输数据的数据格式,后两组主要是传输数据的方式.IO的核心问题是数据格式影响IO操作和传输方式影响IO操作,数据格式和传输方式是影响IO运行效率最关键的因素.

1.2 IO类图

图1-1 IO类库层次结构

注意点:

1.InputStream类下,SocketInputStream是FileInputStream的子类.

1.OutputStream类下,SocketOutputStream是FileOutputStream的子类.

3.Writer类提供一个抽象方法write(char cbuf[], int off, int len).

4.Reader类提供一个抽象方法 int read(char cbuf[], int off, int len).

图1-2 IO类库表图

1.3 IO作用

• 文件访问
• 网络访问
• 内存缓存访问
• 线程内部通信(管道)
• 缓冲
• 过滤
• 解析
• 读写文本 (Readers / Writers)
• 读写基本类型数据 (long, int etc.)
• 读写对象

1.4 字节与字符转化接口

作用:数据持久化或网络传输都是以字节进行,所以必须有字节到字符或字符到字节的转化.

InputStreamReader类是字节到字符的转化桥梁,过程中要指定编码字符集(CharSet),否则采用操作系统默认字符集.OutputStreamWriter类相类似.

2.磁盘IO工作机制

2.1 访问文件方式

读取和写入文件IO操作都调用操作系统提供的接口,因为磁盘设备由操作系统管理,应用程序访问物理设备只能通过系统调用方式来工作.

数据在磁盘中唯一最小描述是文件,上层应用程序只能通过文件来操作磁盘上数据,文件也是操作系统和磁盘驱动器交互的最小单元.

2.1.1 标准访问文件方式

标准IO又称为缓存IO,缓存IO机制中，数据先从磁盘复制到内核空间的缓冲区，然后从内核空间缓冲区复制到应用程序的地址空间。

缓存IO的优点：1.在一定程度上分离了内核空间和用户空间，保护系统本身的运行安全；2.可以减少读盘的次数，从而提高性能。

缓存IO的缺点：数据在传输过程中需要在应用程序地址空间（用户空间）和缓存（内核空间）之间进行多次数据拷贝操作，数据拷贝操作所带来的CPU以及内存开销是非常大的。

2.1.2 直接IO方式

直接IO就是应用程序直接访问磁盘数据，不经过内核缓冲区，目的是减少一次从内核缓冲区到用户程序缓存的数据复制。

数据库管理系统比操作系统更了解数据库中存放的数据，提供一种更加有效的缓存机制来提高数据库中数据的存取性能。

直接IO的缺点：如果访问的数据不在应用程序缓存中，每次数据都会直接从磁盘加载，直接加载非常缓慢。通常直接IO与异步IO结合使用。

图2-1 DirectIO和BufferIO的比较

2.1.3 IO模型

IO 请求的两个阶段 ：

       等待资源阶段 ： IO 请求一般需要请求特殊的资源（如磁盘、 RAM 、文件），当资源被上一个使用者使用没有被释放时， IO 请求就会被阻塞，直到能够使用这个资源。

       使用资源阶段 ：真正进行数据接收和发生。

       举例说就是排队 和服务。

  在等待数据 阶段， IO 分为阻塞 IO 和非阻塞 IO 。

       阻塞 IO ：资源不可用时， IO 请求一直阻塞，直到反馈结果（有数据或超时）。

       非阻塞 IO ：资源不可用时， IO 请求离开返回，返回数据标识资源不可用

  在使用资源 阶段， IO 分为同步 IO 和异步 IO 。

       同步 IO ：应用阻塞在发送或接收数据的状态，直到数据成功传输或返回失败。

       异步 IO ：应用发送或接收数据后立刻返回，数据写入 OS 缓存，由 OS 完成数据发送或接收，并返回成功或失败的信息给应用。

2.1.4 内存映射方式

操作系统将内存中的某一块区域与磁盘中的文件关联起来，当要访问内存中的一段数据时，转换为访问文件的某一段数据。这种方式的目的同样是减少数据从内核空间缓存到用户空间缓存的数据复制操作，因为这两个空间的数据是共享的.

内存映射减少数据在用户空间和内核空间之间的拷贝操作,适合大量数据传输.

2.2 Java序列化

Java序列化是将对象转化成字节数组,通过保存和转移字节数据来达到持久化的目的.需要持久化,对象必须继承java.io.Serializable接口.反序列化时,必须有原始类作为模板,才能将对象还原.

序列化总结:

1.当父类继承Serializable接口时,所有子类都可以被序列化.

2.子类实现Serializable接口,父类没有,父类中属性不能被序列化(不报错误,数据丢失),但是子类中属性仍能正确序列化.

3.如果序列化属性是对象,则这个对象也必须实现Serializable接口,否则报错.

4.反序列化时,如果对象的属性修改或删减,则修改的部分属性丢失,但不会报错.

5.反序列化时,如果serialVersionUID被修改,则反序列化失败.

3.网络IO工作机制

之后在网络TCP/IP再讲解.

4.NIO工作方式

4.1 NIO核心

NIO主要有三大核心部分：

Channel(通道)

Buffer(缓冲区)

Selector

传统IO基于字节流和字符流进行操作，而NIO基于Channel和Buffer(缓冲区)进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中。

图4-1 Channel将数据读入Buffer,Buffer将数据写入Channel

Selector(选择区)用于监听多个通道的事件（比如：连接打开，数据到达),单个线程可以监听多个数据通道。

图4-2 单线程使用Selector处理三个Channel

IO

NIO

面向操作

Stream

Buffer

模式

阻塞

非阻塞

4.2 Channel

4.2.1 Channel特点

• 既可以从通道中读取数据，又可以写数据到通道。流的读写通常是单向的。
• 通道可以异步地读写。
• 通道中的数据总是要先读到一个Buffer，或者总是要从一个Buffer中写入。

4.2.2 Channel实现

FileChannel

DatagramChannel

SocketChannel

SocketChannel

分别对应IO/UDP/TCP(Client/Server)数据的读写操作.

4.3 Buffer

4.3.1 Buffer核心

Buffer用于和NIO Channel进行交互.缓冲区本质是一块可以写入数据和读取数据的内存,包装成NIO Buffer对象,便于使用.

4.3.2 Buffer基本用法

使用Buffer遵循以下步骤:

1.写入数据到Buffer

2.调用flip()方法-作用:Buffer写模式切换为读模式

3.从Buffer中读取数据

4.调用clear()或compact()方法-作用:清空缓存区

4.3.3 Buffer的属性

索引说明capacity缓冲区数组的总长度position下一个要操作的数据元素的位置limit缓冲区数组中不可操作的下一个元素的位置：limit<=capacitymark用于记录当前position的前一个位置或者默认是0

图4-3 Buffer读写模式

4.3.4 Buffer类型

ByteBuffer

CharBuffer

LongBuffer

intBuffer

ShortBuffer

FloatBuffer

DoubleBuffer

通过不同基本数据类型来操作Buffer中的字节.

4.3.5 Buffer方法

获得一个Buffer对象首先要进行分配。每个Buffer类都有allocate方法。

CharBuffer buffer = CharBuffer.allocate(1024);

从Buffer中读取数据两种方式:

1.从Buffer读取数据到Channel

int byteWritten = inChannel.write(buf);

2.使用get()方法从Buffer中读取数据

Byte aByte = buf.get();

向Buffer中写入数据两种方式:

1.从Channel写入数据到Buffer

int byteRead = inChannel.read(buf);

2.使用put()方法写入数据到Buffer

buf.put(127);

4.3.6 Scatter/Gather

scatter/gather经常用于需要将传输数据分开处理的场合.如传输消息头和消息体组成的消息,将消息头和消息体分散到不同的Buffer中方便处理.

Scattering Reads是指数据从一个Channel读取到多个Buffer中.

图4-4 Scattering Read

代码示例如下：

ByteBuffer header = ByteBuffer.allocate(128);ByteBuffer body   = ByteBuffer.allocate(1024);ByteBuffer[] bufferArray = { header, body };channel.read(bufferArray);

Gatheting Writes是指数据从多个Buffer写入到一个Channel中.

图4-5 Gathering Write

4.4 Selector

使用单线程来处理通道可以减少处理Channel的线程.

//创建Selector对象Selector selector = Selector.open();//与Selector一起使用,Channel必须处于非阻塞模式channel.configureBlocking(false);//将Channel注册到Selector上SelectionKey key = channel.register(selector,Selectionkey.OP_READ);

4.4.1 Selector监听Channel事件

1.Selection.OP_CONNECT

2.Selection.OP_ACCEPT

3.Selection.OP_READ

4.Selection.OP_WRITE

分别表示连接就绪,接收就绪,读取就绪,写入就绪.

4.4.2 SelectionKey对象属性

interest集合

int interestSet = selectionKey.interestOps();boolean isInterestedInAccept  = (interestSet & SelectionKey.OP_ACCEPT) == SelectionKey.OP_ACCEPT；boolean isInterestedInConnect = interestSet & SelectionKey.OP_CONNECT;boolean isInterestedInRead    = interestSet & SelectionKey.OP_READ;boolean isInterestedInWrite   = interestSet & SelectionKey.OP_WRITE;

ready集合

int readySet = selectionKey.readyOps();selectionKey.isAcceptable();selectionKey.isConnectable();selectionKey.isReadable();selectionKey.isWritable();

Selector

Selector  selector  = selectionKey.selector();

Channel

Channel  channel  = selectionKey.channel();

附加对象(可选)

selectionKey.attach(theObject);Object attachedObj = selectionKey.attachment();

完整示例

Selector selector = Selector.open();channel.configureBlocking(false);SelectionKey key = channel.register(selector, SelectionKey.OP_READ);while(true) {  int readyChannels = selector.select();  if(readyChannels == 0) continue;  Set selectedKeys = selector.selectedKeys();  Iterator keyIterator = selectedKeys.iterator();  while(keyIterator.hasNext()) {    SelectionKey key = keyIterator.next();    if(key.isAcceptable()) {        // a connection was accepted by a ServerSocketChannel.    } else if (key.isConnectable()) {        // a connection was established with a remote server.    } else if (key.isReadable()) {        // a channel is ready for reading    } else if (key.isWritable()) {        // a channel is ready for writing    }    keyIterator.remove();  }}