Reference counted Objects (引用计数对象)

原文地址：http://netty.io/wiki/reference-counted-objects.html

从Netty4开始，某些对象的饿生命周期由其引用计数来管理，因此，一旦不再使用，Netty就可以将它们（或其共享资源）返回给对象池（或对象分配器）。垃圾收集和引用队列并没有提供不可达的高效实时保证，而引用计数则提供了一种可替代的机制，代价是有轻微的不方便。

ByteBuf是最值得注意的一种，它利用了引用计数来提高分配和回收的性能，本节将解释哈在Netty中使用ByteBuf的引用计数。

-引用计数的基础
新引用计数对象的引用计数为1:

ByteBuf buf = ctx.alloc().directBuffer();assert buf.refCnt() == 1;

当你释放引用计数对象时，它的引用计数减少1.如果引用计数达到0，则引用计数对象将被重新分配或者将其返回它来自的对象池。

assert buf.refCnt() == 1;// release() returns true only if the reference count becomes 0.boolean destroyed = buf.release();assert destroyed;assert buf.refCnt() == 0;

–Dangling引用
尝试访问引用计数为0的引用计数对象将触发IllegalReferenceCountException.

assert buf.refCnt() == 0;try {  buf.writeLong(0xdeadbeef);  throw new Error("should not reach here");} catch (IllegalReferenceCountExeception e) {  // Expected}

–增加引用计数
引用计数也可以通过retain()操作来增加在其尚未被销毁之前。

ByteBuf buf = ctx.alloc().directBuffer();assert buf.refCnt() == 1;buf.retain();assert buf.refCnt() == 2;boolean destroyed = buf.release();assert !destroyed;assert buf.refCnt() == 1;

–谁销毁它？
一般的经验规则是，最后访问引用计数的对象负责对引用计数对象的销毁。更具体的来说：
如果【发送】组件将引用计数对象传递给另一个【接收】组件，则发送组件通常不需要销毁它，而是将其推迟到接收组建中再决定。
如果一个组件使用了引用计数对象，并且知道其他任何内容都无法访问这个对象（即不传递给另一个组件），则此组件应该销毁它。

这里有一个简单的实例：

public ByteBuf a(ByteBuf input) {    input.writeByte(42);    return input;}public ByteBuf b(ByteBuf input) {    try {        output = input.alloc().directBuffer(input.readableBytes() + 1);        output.writeBytes(input);        output.writeByte(42);        return output;    } finally {        input.release();    }}public void c(ByteBuf input) {    System.out.println(input);    input.release();}public void main() {    ...    ByteBuf buf = ...;    // This will print buf to System.out and destroy it.    c(b(a(buf)));    assert buf.refCnt() == 0;}

–派生的缓冲区
ByteBuf.duplicate(), ByteBuf.slice() and ByteBuf.order(ByteOrder) 创建一个派生的缓冲区，它共享父缓冲区的内存区域。派生的缓冲区不具有自己的引用计数，但共享父缓冲区的引用计数。

ByteBuf parent = ctx.alloc().directBuffer();ByteBuf derived = parent.duplicate();// Creating a derived buffer does not increase the reference count.assert parent.refCnt() == 1;assert derived.refCnt() == 1;

相比之下，ByteBuf.copy() and ByteBuf.readBytes(int)不是派生的缓冲区。所分配的ByteBuf需要被释放。
请注意，父缓冲区及其派生的缓冲区共享相同的引用计数，并且在创建派生缓冲区时，引用计数不会增加。因此，如果要将派生缓冲区传递给应用程序的其他组件时，则必须先调用retain()。

ByteBuf parent = ctx.alloc().directBuffer(512);parent.writeBytes(...);try {    while (parent.isReadable(16)) {        ByteBuf derived = parent.readSlice(16);        derived.retain();        process(derived);    }} finally {    parent.release();}...public void process(ByteBuf buf) {    ...    buf.release();}

–ByteBufHolder接口：
有时，ByteBuf被包含在一个缓冲区中，例如DatagramPacket、HttpContent和WebSocketframe。这些类型继承了一个名为ByteBufHolder的公共接口。
一个buffer holder共享它所包含的缓冲区的引用计数，就像派生的缓冲区一样。

–CHannelHandler中的引用计数
-进站消息
当一个事件循环将数据读入ByteBuf并触发一个ChannelRead()事件时，相应pipline中的ChannelHandle负责释放buffer。因此，处理接收到的数据的handler应该在它的channelRead()中调用buffer的release()。

public void channelRead(ChannelHandlerContext ctx, Object msg) {    ByteBuf buf = (ByteBuf) msg;    try {        ...    } finally {        buf.release();    }}

正如本文档中“谁来销毁”一节所描述的，如果处理器将缓冲区（或者任何引用计数对象）传递给下一个处理程序，则不需要释放它。

public void channelRead(ChannelHandlerContext ctx, Object msg) {    ByteBuf buf = (ByteBuf) msg;    ...    ctx.fireChannelRead(buf);}

请注意，ByteBuf不是Netty中唯一的引用计数类型。如果你正在处理由解码器生成的消息，则很可能该消息也是引用计数的。

// Assuming your handler is placed next to `HttpRequestDecoder`public void channelRead(ChannelHandlerContext ctx, Object msg) {    if (msg instanceof HttpRequest) {        HttpRequest req = (HttpRequest) msg;        ...    }    if (msg instanceof HttpContent) {        HttpContent content = (HttpContent) msg;        try {            ...        } finally {            content.release();        }    }}

如果你有疑问，或者你想要简化消息的释放，可以使用ReferenceCountUtil.release()。

public void channelRead(ChannelHandlerContext ctx, Object msg) {    try {        ...    } finally {        ReferenceCountUtil.release(msg);    }}

或者，你可以考虑继承SimpleChannelHandler，它为你收到的所有消息调用ReferenceCountUtil.release(msg)。

–出站消息
与进站消息不同的是，出站消息是由你的应用程序创建的，将这些消息释放在将其写入到线路后是Netty的责任。但是，拦截你的写入请求的处理器应确保正确释放任何中间对象。（比如编码器）

// Simple-pass throughpublic void write(ChannelHandlerContext ctx, Object message, ChannelPromise promise) {    System.err.println("Writing: " + message);    ctx.write(message, promise);}// Transformationpublic void write(ChannelHandlerContext ctx, Object message, ChannelPromise promise) {    if (message instanceof HttpContent) {        // Transform HttpContent to ByteBuf.        HttpContent content = (HttpContent) message;        try {            ByteBuf transformed = ctx.alloc().buffer();            ....            ctx.write(transformed, promise);        } finally {            content.release();        }    } else {        // Pass non-HttpContent through.        ctx.write(message, promise);    }}

-缓冲区泄漏问题解决
引用计数的缺点是容易泄漏引用计数的对象。由于JVM不知道引用计数的Netty实现，因此，即使它们的引用计数不为0，它也会在它们变得不可访问时自动对其进行GC。一旦回收的垃圾无法恢复，也就无法返回它所来自的池，从而产生内存泄漏。
幸运的是，尽管很难找到内存泄漏，但Netty将在默认的情况下抽取大约1%的缓冲区来检查应用中是否存在内存泄漏。如果发生泄漏，你可以找到如下日志信息：

LEAK: ByteBuf.release() was not called before it's garbage-collected. Enable advanced leak reporting to find out where the leak occurred. To enable advanced leak reporting, specify the JVM option '-Dio.netty.leakDetectionLevel=advanced' or call ResourceLeakDetector.setLevel()

使用上面提到的JVM选项重新启动你的应用，然后你将看到你的应用可以访问泄漏的缓冲区的最近位置。下面的例子来自单元测试显示了一个泄漏：

Running io.netty.handler.codec.xml.XmlFrameDecoderTest15:03:36.886 [main] ERROR io.netty.util.ResourceLeakDetector - LEAK: ByteBuf.release() was not called before it's garbage-collected.Recent access records: 1#1:    io.netty.buffer.AdvancedLeakAwareByteBuf.toString(AdvancedLeakAwareByteBuf.java:697)    io.netty.handler.codec.xml.XmlFrameDecoderTest.testDecodeWithXml(XmlFrameDecoderTest.java:157)    io.netty.handler.codec.xml.XmlFrameDecoderTest.testDecodeWithTwoMessages(XmlFrameDecoderTest.java:133)    ...Created at:    io.netty.buffer.UnpooledByteBufAllocator.newDirectBuffer(UnpooledByteBufAllocator.java:55)    io.netty.buffer.AbstractByteBufAllocator.directBuffer(AbstractByteBufAllocator.java:155)    io.netty.buffer.UnpooledUnsafeDirectByteBuf.copy(UnpooledUnsafeDirectByteBuf.java:465)    io.netty.buffer.WrappedByteBuf.copy(WrappedByteBuf.java:697)    io.netty.buffer.AdvancedLeakAwareByteBuf.copy(AdvancedLeakAwareByteBuf.java:656)    io.netty.handler.codec.xml.XmlFrameDecoder.extractFrame(XmlFrameDecoder.java:198)    io.netty.handler.codec.xml.XmlFrameDecoder.decode(XmlFrameDecoder.java:174)    io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:227)    io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:140)    io.netty.channel.ChannelHandlerInvokerUtil.invokeChannelReadNow(ChannelHandlerInvokerUtil.java:74)    io.netty.channel.embedded.EmbeddedEventLoop.invokeChannelRead(EmbeddedEventLoop.java:142)    io.netty.channel.DefaultChannelHandlerContext.fireChannelRead(DefaultChannelHandlerContext.java:317)    io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846)    io.netty.channel.embedded.EmbeddedChannel.writeInbound(EmbeddedChannel.java:176)    io.netty.handler.codec.xml.XmlFrameDecoderTest.testDecodeWithXml(XmlFrameDecoderTest.java:147)    io.netty.handler.codec.xml.XmlFrameDecoderTest.testDecodeWithTwoMessages(XmlFrameDecoderTest.java:133)    ...

-泄漏检测级别
目前有4种泄漏检测：
DISABLED - 禁用泄漏检测。不推荐
SIMPLE - 取样的1%是否发生了泄漏。默认情况
ADVANCED - 取样的1%发生泄漏的地方
PARANOID - 与ADVANCED类似，但是检查所有的缓冲区，而不只是取样的1%。此选项在自动测试的阶段很有用。如果构建输出包含了LEAK，可以认为构建失败。

你可以使用JVM的Y JVM option -Dio.netty.leakDetection.level来制定泄漏检测级别。
java -Dio.netty.leakDetectionLevel=advanced …

-避免泄漏的最佳实践
在PARANOID和SIMPLE泄漏检测级别运行你的单元测试和集成测试。
在一个足够长的时间内，使用SIMPLE级别推出到整个级别的应用，看是否有泄漏
如果有泄漏，再使用ADVANCED级别来cannary以获得一些关于泄漏的提示。
不要部署存在泄漏的程序到整个集群。

–在单元测试中修复泄漏
在单元测试中，很容易忘记释放缓冲区或者消息。它将生成泄漏警告，但并不意味着你的程序有泄漏。你可以使用ReferenceCountUtil. releaseLater ()方法，而不是使用try-catch块来包装单元测试以释放所有的缓冲区。
import static io.netty.util.ReferenceCountUtil.*;

@Testpublic void testSomething() throws Exception {    // ReferenceCountUtil.releaseLater() will keep the reference of buf,    // and then release it when the test thread is terminated.    ByteBuf buf = releaseLater(Unpooled.directBuffer(512));    ...}