java nio 下direct和非direct 缓冲buffer的选择
来源:互联网 发布:js获取当前utc时间 编辑:程序博客网 时间:2024/05/18 12:30
DIRECT OR NON-DIRECT BYTEBUFFER
先解释一下两者的区别:
Non-direct ByteBuffer内存是分配在堆上的,直接由Java虚拟机负责垃圾收集,你可以把它想象成一个字节数组的包装类,如下伪码所示:
HeapByteBuffer extends ByteBuffer {
byte[] content;
int position, limit, capacity;
......
}
而Direct ByteBuffer是通过JNI在Java虚拟机外的内存中分配了一块(所以即使在运行时通过-Xmx指定了Java虚拟机的最大堆内存,还是可能实例化超出该大小的Direct ByteBuffer),该内存块并不直接由Java虚拟机负责垃圾收集,但是在Direct ByteBuffer包装类被回收时,会通过Java Reference机制来释放该内存块。如下伪码所示:
DirectByteBuffer extends ByteBuffer {
long address;
int position, limit, capacity;protected void finalize() throws Throwable{
//释放内存块,该段代码仅仅用于演示,真正的Direct ByteBuffer并不是通过finalize来释放的
releaseAddress();
......
}
......
}
我相信大部分朋友们对上面的区别都应该很了解,那么还有什么其他的区别呢?嘿嘿,让我们稍微深入一点,翻到sun.nio.ch.IOUtil.java,绝大部分Channel类都是通过这个工具类和外界进行通讯的,如FileChannel/SocketChannel等等。我简单的用伪码把write方法给表达出来(read方法也差不多,就不多做说明了)
int write(ByteBuffer src, ......) {
if (src instanceof DirectBuffer)
return writeFromNativeBuffer(...);
ByteBuffer direct = getTemporaryDirectBuffer(src);
writeFromNativeBuffer(direct,......);
updatePosition(src);
releaseTemporaryDirectBuffer(direct);
}
是的,在发送和接收前会把Non-direct ByteBuffer转换为Direct ByteBuffer,然后再进行相关的操作,最后更新原始ByteBuffer的position。这意味着什么?假设我们要从网络中读入一段数据,再把这段数据发送出去的话,采用Non-direct ByteBuffer的流程是这样的:
网络 --> 临时的Direct ByteBuffer --> 应用 Non-direct ByteBuffer --> 临时的Direct ByteBuffer --> 网络
而采用Direct ByteBuffer的流程是这样的:
网络 --> 应用 Direct ByteBuffer --> 网络
可以看到,除开构造和析构临时Direct ByteBuffer的时间外,起码还能节约两次内存拷贝的时间。那么是否在任何情况下都采用Direct Buffer呢?
不是。对于大部分应用而言,两次内存拷贝的时间几乎可以忽略不计,而构造和析构Direct Buffer的时间却相对较长。在JVM的实现当中,某些方法会缓存一部分临时Direct ByteBuffer,意味着如果采用Direct ByteBuffer仅仅能节约掉两次内存拷贝的时间,而无法节约构造和析构的时间。就用Sun的实现来说,write(ByteBuffer)和read(ByteBuffer)方法都会缓存临时Direct ByteBuffer,而write(ByteBuffer[])和read(ByteBuffer[])每次都生成新的临时Direct ByteBuffer。
根据这些区别,我会提出如下的建议:
- 如果你做中小规模的应用(在这里,应用大小是按照使用ByteBuffer的次数和规模来做划分的),而且并不在乎这该死的细节问题,请选择Non-direct ByteBuffer
- 如果采用Direct ByteBuffer后性能并没有出现你所期待的变化,请选择Non-direct ByteBuffer
- 如果没有Direct ByteBuffer Pool,尽量不要使用Direct ByteBuffer
- 除非你确定该ByteBuffer会长时间存在,并且和外界有频繁交互,可采用Direct ByteBuffer
- 如果采用Non-direct ByteBuffer,那么采用非聚集(gather)的write/read(ByteBuffer)效果反而可能超出聚集的write/read(ByteBuffer[]),因为聚集的write/read的临时Direct ByteBuffer是非缓存的
基本上,采用Non-direct ByteBuffer总是对的!因为内存拷贝需要的开销对大部分应用而言都可以忽略不计。不过我做的是大规模的网络并发框架,因此对这些细节问题还是有必要有深入认识的,并且根据这些细节来调节自己的Buffer继承体系(再次抱怨,ByteBuffer无法扩展实在是一个非常非常非常费解的设计)
注:前面提到的“即使在运行时通过-Xmx指定了Java虚拟机的最大堆内存,还是可能实例化超出该大小的Direct ByteBuffer”中的可能是指可以通过-XX:MaxDirectMemorySize=<size>来指定Direct ByteBuffer实例最多可以使用的内存总数。如指定-XX:MaxDirectMemorySize=1024,则系统中所有存活的Direct ByteBuffer总内存数不能超过1024字节。
自己测试了一下,copy大文件时使用direct缓冲buffer有明显提升。
总结一下就是如果buffer使用周期短而频繁,就用non-direct,如果使用周期长传输文件大就用direct
- java nio 下direct和非direct 缓冲buffer的选择
- 笔记:Java NIO heap buffer和direct buffer
- JAVA NIO之Direct Buffer 与 Heap Buffer的区别?
- JAVA NIO之Direct Buffer 与 Heap Buffer的区别?
- java direct buffer VS non-direct buffer
- java direct buffer VS non-direct buffer
- 《Java源码解析》NIO中的heap Buffer和direct Buffer区别
- JDK关于direct buffer与non-direct buffer的说明
- Direct Byte Buffer的操作
- java.lang.OutOfMemoryError: Direct buffer memory at java.nio.Bits.reserveMemory(Bits.java:658) at
- 发生java.lang.OutOfMemoryError: Direct buffer memory
- 文件系统direct io 和buffer io
- direct io/buffer io
- Direct Buffer 尝试一下
- Direct Buffer vs. Heap Buffer
- Direct Buffer vs. Heap Buffer
- zero ice的 heap space outofmemory 和 direct buffer memory outofmemory
- cassandra节点异常:java.lang.OutOfMemoryError: Direct buffer memory
- 【Ibatis】(一)、sqlMapConfig.xml配置文件详解
- 【Ibatis】(二)、ibatis测试类的具体写法
- CWnd与HWND的区别与转换
- 【Ibatis】(三)、ibatis映射文件
- PowerDesigner 技巧小结
- java nio 下direct和非direct 缓冲buffer的选择
- 【Ibatis】(四)、ibatis高级特性(表与表之间的关联)
- 【Ibatis】(五)、动态映射
- PowerDesigner学习常见问题
- 如果你想要制作一张光盘.用什么工具
- 将int数组转换成字符串
- 【Ibatis】(六)、动态SQL查询
- 多线程调用epoll_wait()的线程安全问题分析
- 最小生成树