Thrift反序列化导致OOM
来源:互联网 发布:男士搭配软件 编辑:程序博客网 时间:2024/06/07 01:11
最近线上的日志处理服务偶尔会出现Out Of Memory的问题,从Exception的call stack中顺藤摸瓜,最终定位到是thrift反序列化的问题。
发现问题
先交代一下问题现场:
- thirft版本: 0.5.0,很久远的版本,但是公司统一使用的版本;
- 反序列化使用的协议:TCompactProtocol协议;
出错的call stack:
Exception in thread "pool-10-thread-1" java.lang.RuntimeException: java.lang.OutOfMemoryError: Requested array size exceeds VM limit at com.lmax.disruptor.FatalExceptionHandler.handleEventException(FatalExceptionHandler.java:45) at com.lmax.disruptor.BatchEventProcessor.run(BatchEventProcessor.java:152) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745)Caused by: java.lang.OutOfMemoryError: Requested array size exceeds VM limit at org.apache.thrift.protocol.TCompactProtocol.readBinary(TCompactProtocol.java:651) at org.apache.thrift.protocol.TCompactProtocol.readString(TCompactProtocol.java:626) at com.xiaomi.data.spec.log.push.XmPushMessageInfo.read(XmPushMessageInfo.java:2779)
寻找原因
从上面的call stack可以看出,问题出在thrift TCompactProtocol类的651行,看看这一行干了些什么:
/** * Read a byte[] of a known length from the wire. */ private byte[] readBinary(int length) throws TException { if (length == 0) return new byte[0]; byte[] buf = new byte[length]; // TCompactProtocol第651行 trans_.readAll(buf, 0, length); return buf; }
从上面代码可以看到,TCompactProtocol类的651行申请了一个长度为length的byte数组,而此时可用内存已经不足以分配这么大的空间,所以报了java.lang.OutOfMemoryError错误,导致程序异常退出。
这个length是怎么来的呢?还是从call stack寻找答案,看看TCompactProtocol类的626行:
/** * Reads a byte[] (via readBinary), and then UTF-8 decodes it. */ public String readString() throws TException { int length = readVarint32(); if (length == 0) { return ""; } try { if (trans_.getBytesRemainingInBuffer() >= length) { String str = new String(trans_.getBuffer(), trans_.getBufferPosition(), length, "UTF-8"); trans_.consumeBuffer(length); return str; } else { return new String(readBinary(length), "UTF-8"); // 626行 } } catch (UnsupportedEncodingException e) { throw new TException("UTF-8 not supported!"); } }
从上面的代码可以看到,length是通过readVarint32
这个函数读到的一个int型数字,然后thrift使用这个数字来申请内存。
这种方式在正常情况下是没有问题的,但是如果源binary数据被写坏了,或者网络传输过程中出现了差错,就有可能导致readVarint32
读到的是一个非常大的数字(可能达到10多亿),这种情况下申请内存必然会OOM。
解决问题
问题原因找到了,但是怎么解决呢?
下面是一个比较简单的解决方案:
每次读取到length之后都做一下长度的check,如果这个长度超过一定的长度,则直接抛出异常,不要再申请内存。
thrift中需要check读取到的langth的地方有以下几个地方(如果使用其他Protocol也类似):
/** * Read a map header off the wire. If the size is zero, skip reading the key * and value type. This means that 0-length maps will yield TMaps without the * "correct" types. */ public TMap readMapBegin() throws TException { int size = readVarint32(); //此处需要check size byte keyAndValueType = size == 0 ? 0 : readByte(); return new TMap(getTType((byte)(keyAndValueType >> 4)), getTType((byte)(keyAndValueType & 0xf)), size); }
/** * Read a list header off the wire. If the list size is 0-14, the size will * be packed into the element type header. If it's a longer list, the 4 MSB * of the element type header will be 0xF, and a varint will follow with the * true size. */ public TList readListBegin() throws TException { byte size_and_type = readByte(); int size = (size_and_type >> 4) & 0x0f; if (size == 15) { size = readVarint32(); // 此处需要check size } byte type = getTType(size_and_type); return new TList(type, size); }
/** * Reads a byte[] (via readBinary), and then UTF-8 decodes it. */ public String readString() throws TException { int length = readVarint32(); // 此处需要check length if (length == 0) { return ""; } try { if (trans_.getBytesRemainingInBuffer() >= length) { String str = new String(trans_.getBuffer(), trans_.getBufferPosition(), length, "UTF-8"); trans_.consumeBuffer(length); return str; } else { return new String(readBinary(length), "UTF-8"); } } catch (UnsupportedEncodingException e) { throw new TException("UTF-8 not supported!"); } }
以readMapBegin
举例,可以这样修改:
/** * Read a map header off the wire. If the size is zero, skip reading the key * and value type. This means that 0-length maps will yield TMaps without the * "correct" types. */ public TMap readMapBegin() throws TException { int size = readVarint32(); if (size > trans_.getBytesRemainingInBuffer() || size > MAX_THRIFT_MAP_SIZE) { throw new TPushProtocolException(TProtocolException.SIZE_LIMIT, "Thrift map size " + size + " out of range, remaining size = " + trans_.getBytesRemainingInBuffer()); } byte keyAndValueType = size == 0 ? 0 : readByte(); return new TMap(getTType((byte)(keyAndValueType >> 4)), getTType((byte)(keyAndValueType & 0xf)), size); }
其中的MAX_THRIFT_MAP_SIZE
是一个常量,一个自定义的thrift map的最大size,此处是10000。
后记
看了一下thrift 0.9.3版本的源码,这个版本中已经加上了类似的check逻辑。
- Thrift反序列化导致OOM
- thrift序列化和反序列化
- thrift序列化和反序列化
- Thrift序列化与反序列化
- python 使用thrift序列化与反序列化对象
- python 使用thrift序列化与反序列化对象
- thrift框架 序列化及反序列化解析
- java反序化thrift
- Hession反序列化导致CPU占用飙高
- Hession反序列化导致CPU占用飙高
- Thrift序列化和反序列化处理代码(java版)
- 序列化--反序列化:Schema evolution in Avro, Protocol Buffers and Thrift
- Thrift序列化与反序列化的实现机制分析
- 反序列化
- Xml 反序列化
- 反序列化对象
- 反序列化问题解决
- json 反序列化
- RHEL7配置yum源
- Mac wireshark报The capture session could not be initiated 错误
- Zabbix 自定义key类型之计算(Calculated items)
- [转]Java的21个技术点,你知道吗?
- java项目中使用JDBC连接mysql数据库查询数据
- Thrift反序列化导致OOM
- MBProgressHud的显示异常有问题(有黑色菱形)
- IDC业务的介绍1——域名注册
- Winform 上传文件(ftp方式)
- c:forEach
- zookeeper通信模式
- 点击图片 图片放大 带有黑色背景图片
- RSA解密报 Decryption error
- RHEL7密码重置