Java I/O工作机制

I/O 问题可以说是当今互联网 Web 应用中所面临的主要问题之一，因为当前在这个海量数据时代，数据在网络中随处流动。这个流动的过程中都涉及到 I/O 问题，可以说大部分 Web 应用系统的瓶颈都是 I/O 瓶颈。

字节I/O

字节输入流InputStream

InputStream本身是一个抽象类，要想使用此类必须依靠其子类。如果需要从文件中读取字节流，就用FileInputStream来实现。

[java] view plain copy

 

1. public class FileInputStreamTest {  
2.     public static void main(String[] args) throws IOException {  
3.         File f = new File("c:/test.txt");   
4.         InputStream in=new FileInputStream(f);  
5.         byte[] b=new byte[(int) f.length()];  
6.         in.read(b);//读取字节流  
7.         in.close();  
8.         System.out.println(new String(b));    
9.     }  
10. }  

输出：

test.txt文件的内容!

字节输出流OutputStream

OutputStream也是一个抽象类，想要使用此类必须依靠其子类。如果需要向文件中写入字节流，就用FileOutputStream来实现。

[java] view plain copy

 

1. public class FileOutputStreamTest {  
2.     public static void main(String[] args) throws IOException {  
3.         File f=new File("c:/test.txt");  
4.         OutputStream out=new FileOutputStream(f);  
5.         String str="写入的文件内容！";  
6.         byte[] b=str.getBytes();  
7.         out.write(b);//写入字节流  
8.         out.close();  
9.     }  
10. }  

程序执行后，test.txt文件内容变成：“写入的文件内容！”。

字符I/O

字符输入流：Reader

Reader是抽象类，要想使用此类必须依靠其子类。如果现在要从文件中读取字符流，则可以直接使用FileReader子类。

[java] view plain copy

 

1. public class FileReaderTest {  
2.     public static void main(String[] args) throws IOException {  
3.         File f=new File("c:/test.txt");  
4.         Reader input=new FileReader(f);  
5.         char[] c=new char[1024];  
6.         int len=input.read(c);  
7.         input.close();  
8.         System.out.println(new String(c,0,len));  
9.     }   
10. }  

字符输出流：Writer

Writer是一个抽象类，如果要使用此类要依赖其子类。如果现在要向文件中写入字符流，则可以直接使用FileWriter子类。

[java] view plain copy

 

1. public class FileWriterTest {  
2.     public static void main(String[] args) throws IOException {  
3.         File f=new File("c:/test.txt");  
4.         Writer out=new FileWriter(f);  
5.         String str="hello！";  
6.         out.write(str);  
7.         out.close();  
8.     }  
9. }  

字节流与字符流

流的概念：在程序中所有的数据都是以流的方式进行传输或保存的，程序需要数据的时候要使用输入流读取数据，而当程序需要将一些数据保存起来的时候，就要使用输出流完成。
字节流处理单元为1个字节，操作字节和字节数组。字符流处理单元为2个字节的Unicode字符，分别操作字符、字符数组或字符串。所有文件的储存是都是字节（byte）的储存，在磁盘上保留的并不是文件的字符而是先把字符编码成字节，再储存这些字节到磁盘。在读取文件（特别是文本文件）时，也是一个字节一个字节地读取以形成字节序列。

字节流主要用在处理二进制数据，它是按字节来处理的。但实际中很多的数据是文本，又提出了字符流的概念，它是按虚拟机的编码来处理，也就是要进行字符集的转化。总的来说，字节用来与文件打交道，而字符用来和人打交道。

在实际开发中出现的汉字乱码问题实际上都是在字符流和字节流之间转化不统一而造成的。

字节与字符间的转化

另外数据持久化或网络传输都是以字节进行的，所以必须要有字符到字节或字节到字符的转化。

[java] view plain copy

 

1. public class OutputStreamWriterTest {  
2.     public static void main(String[] args) throws IOException {  
3.         File f=new File("c:/test.txt");  
4.         String charset="UTF-8";//String charset="ISO-8859-1";  
5.         //写字符串转换成字节流  
6.         OutputStream out=new FileOutputStream(f);  
7.         OutputStreamWriter writer=new OutputStreamWriter(out,charset);//将字符存储为指定编码集的字节  
8.         writer.write("这是要保存的中文字符！");    
9.         writer.close();  
10.     }  
11. }  

程序执行后，文件内容为：

这是要保存的中文字符！

[java] view plain copy

 

1. public class InputStreamReaderTest {  
2.     public static void main(String[] args) throws IOException {  
3.         File f=new File("c:/test.txt");  
4.         String charset="UTF-8";//String charset="ISO-8859-1";   
5.         //读取字节转换成字符  
6.         FileInputStream inputStream=new FileInputStream(f);  
7.         //1、指定一致的编码集合，正确输出  
8.         InputStreamReader reader=new InputStreamReader(inputStream,charset);  
9.         //2、没有指定编码集，采用操作系统默认的编码集，输出乱码  
10.         //InputStreamReader reader=new InputStreamReader(inputStream);  
11.         StringBuffer buffer=new StringBuffer();  
12.         char[] buf=new char[64];  
13.         int count=0;  
14.         try{  
15.             while((count=reader.read(buf))!=-1){  
16.                 buffer.append(buf,0,count);  
17.             }  
18.         }  
19.         finally{  
20.             reader.close();  
21.         }  
22.         String s1=buffer.toString();   
23.         System.out.println(s1);  
24.     }   
25. }  

输出：

这是要保存的中文字符！

如果，我们不指定编码集，采用操作系统默认的编码集，将会输出乱码：杩欐槸瑕佷繚瀛樼殑涓枃瀛楃锛?

InputStreamReader 类是字节到字符的转化桥梁，InputStream 到 Reader 的过程要指定编码字符集，否则将采用操作系统默认字符集，很可能会出现乱码问题。StreamDecoder 正是完成字节到字符的解码的实现类。FileReader 类就是按照上面的工作方式读取文件的，FileReader 是继承了 InputStreamReader 类，实际上是读取文件流，然后通过 StreamDecoder 解码成 char。

java NIO 和阻塞I/O的区别

阻塞I/O通信模型

假如现在你对阻塞I/O已有了一定了解，我们知道阻塞I/O在调用InputStream.read()方法时是阻塞的，它会一直等到数据到来时（或超时）才会返回；同样，在调用ServerSocket.accept()方法时，也会一直阻塞到有客户端连接才会返回，每个客户端连接过来后，服务端都会启动一个线程去处理该客户端的请求。
阻塞I/O的通信模型示意图如下：

如果你细细分析，一定会发现阻塞I/O存在一些缺点。根据阻塞I/O通信模型，我总结了它的两点缺点：
1. 当客户端多时，会创建大量的处理线程。且每个线程都要占用栈空间和一些CPU时间
2. 阻塞可能带来频繁的上下文切换，且大部分上下文切换可能是无意义的。
在这种情况下非阻塞式I/O就有了它的应用前景。

 java NIO原理及通信模型

Java NIO是在jdk1.4开始使用的，它既可以说成“新I/O”，也可以说成非阻塞式I/O。下面是Java NIO的工作原理：
1. 由一个专门的线程来处理所有的 IO 事件，并负责分发。
2. 事件驱动机制：事件到达的时候事件，而不是同步的去监视事件。
3. 线程通讯：线程之间通过 wait,notify 等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。
阅读过一些资料之后，下面贴出我理解的java NIO的工作原理图：

Java NIO的服务端只需启动一个专门的线程来处理所有的 IO 事件，这种通信模型是怎么实现的呢？呵呵，我们一起来探究它的奥秘吧。java NIO采用了双向通道（channel）进行数据传输，而不是单向的流（stream），在通道上可以注册我们感兴趣的事件。

事件名对应值服务端接收客户端连接事件SelectionKey.OP_ACCEPT(16)客户端连接服务端事件SelectionKey.OP_CONNECT(8)读事件SelectionKey.OP_READ(1)写事件SelectionKey.OP_WRITE(4)服务端和客户端各自维护一个管理通道的对象，我们称之为selector，该对象能检测一个或多个通道 (channel)上的事件。我们以服务端为例，如果服务端的selector上注册了读事件，某时刻客户端给服务端发送了一些数据，阻塞I/O这时会调用read()方法阻塞地读取数据，而NIO的服务端会在selector中添加一个读事件。服务端的处理线程会轮询地访问selector，如果访问selector时发现有感兴趣的事件到达，则处理这些事件，如果没有感兴趣的事件到达，则处理线程会一直阻塞直到感兴趣的事件到达为止。

下面是我理解的java NIO的通信模型示意图：

java NIO服务端和客户端代码实现

[java] view plain copy

 

1. import java.io.IOException;  
2. import java.net.InetSocketAddress;  
3. import java.nio.ByteBuffer;  
4. import java.nio.channels.SelectionKey;  
5. import java.nio.channels.Selector;  
6. import java.nio.channels.SocketChannel;  
7. import java.util.Iterator;  
8.   
9. public class NIOClient {  
10.     //通道管理器  
11.     private Selector selector;  
12.     /* 
13.      * 获得一个Socket通道，并对该通道做一些初始化的工作 
14.      * @param        ip，连接的服务器的ip 
15.      * @param        port，连接的服务器的端口号 
16.      * ＠throws     IOException 
17.      */  
18.     public void initClient(String ip,int port) throws IOException{  
19.         //获得一个Socket通道  
20.         SocketChannel channel = SocketChannel.open();  
21.         //设置通道为非阻塞  
22.         channel.configureBlocking(false);  
23.         //获得一个通道管理器  
24.         this.selector = Selector.open();  
25.         /*客户端连接服务器，其实方法执行并没有实现连接，需要在listen()方法中调用channel.finishConnect()才能完成连接*/  
26.         channel.connect(new InetSocketAddress(ip,port));  
27.         //将通道管理器和该通道绑定，并为该通道注册SelectionKey.OP_CONNECT事件  
28.         channel.register(this.selector, SelectionKey.OP_CONNECT);  
29.     }  
30.     /* 
31.      * 采用轮询的方式监听selector上是否有需要处理的事件，如果有，则进行处理。 
32.      * @throws IOException 
33.      */  
34.     public void listen() throws IOException{  
35.         //轮询访问selector  
36.         while(true){  
37.             /* 
38.              * 选择一组可以进行I/O操作的事件，放在selector中，客户端的该方法不会阻塞， 
39.              * 这里和服务端的方法不一样，查看api注释可以知道，当至少一个通道被选中时， 
40.              * selector的wakeup方法被调用，方法返回，而对于客户端来说，通道一直是被选中的 
41.              */  
42.             selector.select();  
43.             //获得selector中选中的项的迭代器  
44.             Iterator<SelectionKey> ite = this.selector.selectedKeys().iterator();  
45.             while(ite.hasNext()){  
46.                 SelectionKey key = (SelectionKey) ite.next();  
47.                 //删除已选的key，以防重复处理  
48.                 ite.remove();  
49.                 //连接事件发生  
50.                 if(key.isConnectable()){  
51.                     SocketChannel channel = (SocketChannel) key.channel();  
52.                     //如果正在连接，则完成连接  
53.                     if(channel.isConnectionPending()){  
54.                         channel.finishConnect();  
55.                     }  
56.                     //设置成非阻塞  
57.                     channel.configureBlocking(false);  
58.                     //在这里可以给服务端发送信息哦  
59.                     channel.write(ByteBuffer.wrap(new String("abcdefg").getBytes()));  
60.                     //在和服务端连接成功之后，为了可以接收到服务端的信息，需要给通道设置读的权限  
61.                     channel.register(this.selector, SelectionKey.OP_READ);  
62.                     //获得了可读的事件  
63.                 } else if(key.isReadable()){  
64.                     read(key);  
65.                 }  
66.             }  
67.         }  
68.     }  
69.     public void read(SelectionKey key) throws IOException{  
70.         SocketChannel channel = (SocketChannel) key.channel();  
71.         ByteBuffer buffer = ByteBuffer.allocate(10);  
72.         channel.read(buffer);  
73.         byte[] data = buffer.array();  
74.         String msg = new String(data).trim();  
75.         System.out.println("客户端收到信息：" + msg);  
76.         ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());  
77.         channel.write(outBuffer);  
78.     }  
79.       
80.     public static void main(String[] args) throws IOException{  
81.         NIOClient client = new NIOClient();  
82.         client.initClient("localhost", 8080);  
83.         client.listen();  
84.     }  
85. }  

[java] view plain copy

 

1. import java.io.*;  
2. import java.net.*;  
3. import java.nio.ByteBuffer;  
4. import java.nio.channels.*;  
5. import java.util.*;  
6.   
7. public class NIOServer {  
8.     //通道管理器  
9.     private Selector selector;  
10.     /* 
11.      * 获得一个ServerSocket通道，并对该通道做一些初始化工作 
12.      * @param port     绑定的端口号 
13.      * @throws IOException 
14.      */  
15.     public void initServer(int port) throws IOException {  
16.         //获得一个ServerSocket通道  
17.         ServerSocketChannel serverChannel = ServerSocketChannel.open();  
18.         //设置通道为非阻塞  
19.         serverChannel.configureBlocking(false);  
20.         //将该通道对应的ServerSocket绑定到port端口  
21.         serverChannel.socket().bind(new InetSocketAddress(port));  
22.         //获得一个通道管理器  
23.         this.selector = Selector.open();  
24.         /*将通道管理器和该通道绑定，并为该通道注册SelectionKey.OP_ACCEPT事件，注册该事件后， 
25.          * 当该事件到达时，selector.select()会返回，如果该事件没到达selector.select()会一直阻塞。*/  
26.         serverChannel.register(selector, SelectionKey.OP_ACCEPT);  
27.     }  
28.     /* 
29.      * 采用轮询的方式监听selector上是否有需要处理的事件，如果有，则进行处理 
30.      * @throws IOException 
31.      */  
32.     public void listen() throws IOException {  
33.         System.out.println("服务端启动成功！");  
34.         //轮询访问selector  
35.         while(true){  
36.             //当注册的事件到达时，方法返回；否则，该方法会一直阻塞  
37.             selector.select();  
38.             //获得selector中选中的项的迭代器，选中的项为注册的事件  
39.             Iterator<SelectionKey> ite = this.selector.selectedKeys().iterator();  
40.             while(ite.hasNext()){  
41.                 SelectionKey key = (SelectionKey)ite.next();  
42.                 //删除已选的key，以防重复处理  
43.                 ite.remove();  
44.                 //客户请求连接事件  
45.                 if(key.isAcceptable()){  
46.                     ServerSocketChannel server = (ServerSocketChannel)key.channel();  
47.                     //获得和客户端连接的通道  
48.                     SocketChannel channel = server.accept();  
49.                     //设置成非阻塞  
50.                     channel.configureBlocking(false);  
51.                     //在这里可以给客户端发送信息哦  
52.                     channel.write(ByteBuffer.wrap(new String("1234567890").getBytes()));  
53.                     //在和客户端连接成功之后，为了可以接收到客户端的信息，需要给通道设置读权限  
54.                     channel.register(this.selector, SelectionKey.OP_READ);  
55.                 }else if(key.isReadable()){  
56.                     read(key);  
57.                 }  
58.             }  
59.         }  
60.     }  
61.     /* 
62.      * 处理读取客户端发来的信息的事件 
63.      * @param key 
64.      * @throws IOException 
65.      */  
66.     public void read(SelectionKey key ) throws IOException{  
67.         //服务器可读取消息：得到事件发生的Socket通道  
68.         SocketChannel channel = (SocketChannel) key.channel();  
69.         //创建读取的缓冲区   
70.         ByteBuffer buffer = ByteBuffer.allocate(10);  
71.         channel.read(buffer);  
72.         byte[] data = buffer.array();  
73.         String msg = new String(data).trim();  
74.         System.out.println("服务端收到信息：" + msg);  
75.         ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());  
76.         channel.write(outBuffer);//将消息回送给客户端  
77.     }  
78.       
79.     public static void main(String[] args) throws IOException {  
80.         NIOServer server = new NIOServer();  
81.         server.initServer(8080);  
82.         server.listen();  
83.     }  
84. }