java高并发 -- 说说IO那点事儿

来源:互联网 发布:linux lsnrctl 编辑:程序博客网 时间:2024/05/22 04:45

术语

同步和异步
同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)

所谓同步,就是在发出一个调用时,在没有得到结果之前,该调用就不返回。但是一旦调用返回,就得到返回值了。
换句话说,就是由调用者主动等待这个调用的结果。
而异步则是相反,调用在发出之后,这个调用就直接返回了,所以没有返回结果。换句话说,当一个异步过程调用发出后,调用者不会立刻得到结果。而是在调用发出后,被调用者通过状态、通知来通知调用者,或通过回调函数处理这个调用。
阻塞和非阻塞
阻塞和非阻塞关注的是程序在等待调用结果(消息,返回值)时的状态.
阻塞调用是指调用结果返回之前,当前线程会被挂起。调用线程只有在得到结果之后才会返回。
非阻塞调用指在不能立刻得到结果之前,该调用不会阻塞当前线程。
在处理 IO 的时候,阻塞和非阻塞都是同步 IO。
只有使用了特殊的 API 才是异步 IO。
对unix来讲:阻塞式I/O(默认),非阻塞式I/O(nonblock),I/O复用(select/poll/epoll)都属于同步I/O,因为它们在数据由内核空间复制回进程缓冲区时都是阻塞的(不能干别的事)。只有异步I/O模型(AIO)是符合异步I/O操作的含义的,即在1数据准备完成、2由内核空间拷贝回缓冲区后 通知进程,在等待通知的。
事实上,同步IO和异步IO模型是针对用户线程和内核的交互来说的:

  对于同步IO:当用户发出IO请求操作之后,如果数据没有就绪,需要通过用户线程或者内核不断地去轮询数据是否就绪,当数据就绪时,再将数据从内核拷贝到用户线程;

  而异步IO:只有IO请求操作的发出是由用户线程来进行的,IO操作的两个阶段都是由内核自动完成,然后发送通知告知用户线程IO操作已经完成。也就是说在异步IO中,不会对用户线程产生任何阻塞。

  这是同步IO和异步IO关键区别所在,同步IO和异步IO的关键区别反映在数据拷贝阶段是由用户线程完成还是内核完成。所以说异步IO必须要有操作系统的底层支持。

  注意同步IO和异步IO与阻塞IO和非阻塞IO是不同的两组概念。

  阻塞IO和非阻塞IO是反映在当用户请求IO操作时,如果数据没有就绪,是用户线程一直等待数据就绪,还是会收到一个标志信息这一点上面的。也就是说,阻塞IO和非阻塞IO是反映在IO操作的第一个阶段,在查看数据是否就绪时是如何处理的。
这里写图片描述
按照《Unix网络编程》的划分,IO模型可以分为:阻塞IO、非阻塞IO、IO复用、信号驱动IO和异步IO,按照POSIX标准来划分只分为两类:同步IO和异步IO。如何区分呢?首先一个IO操作其实分成了两个步骤:发起IO请求和实际的IO操作,同步IO和异步IO的区别就在于第二个步骤是否阻塞,如果实际的IO读写阻塞请求进程,那么就是同步IO,因此阻塞IO、非阻塞IO、IO服用、信号驱动IO都是同步IO,如果不阻塞,而是操作系统帮你做完IO操作再将结果返回给你,那么就是异步IO。阻塞IO和非阻塞IO的区别在于第一步,发起IO请求是否会被阻塞,如果阻塞直到完成那么就是传统的阻塞IO,如果不阻塞,那么就是非阻塞IO。

IO的几种模型

当前IO模型有五种,分别是1)阻塞式模型(blocking IO),2)非阻塞式模型(Non-blocking IO),3)多路复用IO,支持I/O复用的系统调用有select、poll、epoll、kqueue等,4)信号驱动IO模型(Signal-driven IO),5)异步IO模型(asynchronous IO)。
具体可参考http://www.cnblogs.com/luxiaoxun/p/3691800.html
多路复用IO模型是目前使用得比较多的模型。下面主要讲一下IO多路复用
unix支持I/O多路复用,不同系统叫法不同:freebsd里面叫kqueue,linux是epoll。
在I/O编程过程中,当需要同时处理多个客户端接入请求时,可以利用多线程或者I/O多路复用技术进行处理。I/O多路复用技术通过把多个I/O的阻塞复用到同一个select的阻塞上,从而使得系统在单线程的情况下可以同时处理多个客户端请求。与传统的多线程/多进程模型比,I/O多路复用的最大优势是系统开销小,系统不需要创建新的额外进程或者线程,也不需要维护这些进程和线程的运行,降底了系统的维护工作量,节省了系统资源。
目前支持I/O多路复用的系统调用有 select,pselect,poll,epoll,在Linux网络编程过程中,很长一段时间都使用select做轮询和网络事件通知,然而select的一些固有缺陷导致了它的应用受到了很大的限制,最终Linux不得不在新的内核版本中寻找select的替代方案,最终选择了epoll。
I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态来同时管理多个I/O流.
这里写图片描述
其他详细关于IO多路复用和epoll的知识可以上网查看。

说说java IO

Java NIO(New Input/Output)——新的输入/输出API包——是2002年引入到J2SE 1.4里的。Java NIO的目标是提高Java平台上的I/O密集型任务的性能。过了十年,很多Java开发者还是不知道怎么充分利用NIO,更少的人知道在Java SE 7里引入了更新的输入/输出 API(NIO.2),Java nio 2.0的主要改进就是引入了异步IO(包括文件和网络)。
传统的java IO,或者说老的IO,都是阻塞IO,Java NIO实际上就是多路复用IO。在Java NIO中,是通过selector.select()去查询每个通道是否有到达事件,如果没有事件,则一直阻塞在那里,因此这种方式会导致用户线程的阻塞。
关于java NIO的基础知识,可以看看下面内容:
英文NIO简单介绍:
http://tutorials.jenkov.com/java-nio/index.html
对应的中文翻译:
http://www.iteye.com/magazines/132-Java-NIO?page=2#comments

netty

为什么有了NIO,还要有netty这些框架呢,因为NIO得api都是非常底层,让我们网络编程还是不那么容易,因此netty这种东西就诞生了。
Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持,作为一个异步NIO框架,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。

作为当前最流行的NIO框架,Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用,一些业界著名的开源组件也基于Netty的NIO框架构建。


【关于java IO,有很多东西要研究,现在只是简单地整理一下,需要仔细研究】


可以看看下面这些文章:
IO相关:
1. http://www.cnblogs.com/luxiaoxun/p/3691800.html
2. http://www.linuxidc.com/Linux/2015-07/120338.htm
3. http://www.zhihu.com/question/32163005
4. http://www.ibm.com/developerworks/cn/education/java/j-nio/
5. http://www.cnblogs.com/dolphin0520/p/3916526.html
6. http://www.importnew.com/2000.html
7. http://lxy2330.iteye.com/blog/1122849
netty相关:
1. http://blog.csdn.net/dc_726/article/details/48978891
2. http://www.infoq.com/cn/articles/netty-high-performance
3. http://ifeve.com/category/netty/
4. https://github.com/code4craft/netty-learning

0 0
原创粉丝点击