protobuf 如何解析（大于64MB）超大报文

为了阻止恶意用户发送超大报文，而导致int溢出或服务端为解析报文而分配大量内存致使内存耗尽，protobuf规定int溢出的默认值阈值是64MB（理论是512MB）。因此，当调用ParseFromString(str)方法时，若str的长度>64MB，返回会返回失败。

注意到protobuf中包含这样一个函数：void SetTotalBytesLimit(int total_bytes_limit, int warning_threshold)，其中有解释如下：

解决方法

    LoadDBDataProtobuf::DocumentData pDocumentData; // LoadDBDataProtobuf::DocumentData为应用程序自定义的protobuf结构    ::google::protobuf::io::ArrayInputStream input(strData.data(), strData.size()); //std::string strData，是响应报文中mTOM构造出而来    ::google::protobuf::io::CodedInputStream decoder(&input);    decoder.SetTotalBytesLimit(1024 * 1024 * 1024, 64 * 1024 * 1024);    bool success = pDocumentData.ParseFromCodedStream(&decoder) && decoder.ConsumedEntireMessage();    if (!success)    {        SvrResponse::instance()->setCurrentThreadReturnCode(eOtherErr, QString("protoBuf序列化出错"));        return false;    }

ZeroCopyInputStream 类

class LIBPROTOBUF_EXPORT ArrayInputStream : public ZeroCopyInputStream{ public:    // 构造一个InputStream，返回data所指向的字节数组    // 若指定了block_size，则每次调用Next()返回不超过指定大小的数据块；否则，返回整个字节数组    ArrayInputStream(const void* data, int size, int block_size = -1);    ~ArrayInputStream();    // implements ZeroCopyInputStream ----------------------------------     bool Next(const void** data, int* size);    ......  }

CodedInputStream 类

class LIBPROTOBUF_EXPORT CodedInputStream {public:    // 构造一个从ZeroCopyInputStream读取数据的CodedInputStream对象    explicit CodedInputStream(ZeroCopyInputStream* input);    // total_bytes_limit：可读取的最大报文字节数    // warning_threshold：发出警告的最大报文字节数，若不为-1，则当读取的字节数超过warning_threshold后，stderr将会打印一条警告消息。    void SetTotalBytesLimit(int total_bytes_limit, int warning_threshold)    // 当对报文进行解析后，必须调用ConsumedEntireMessage，以进一步判断报文是否被以正确方式读取完毕。    bool ConsumedEntireMessage()......}

ParseFromCodedStream(io::CodedInputStream* input)

功能：从给定的CodedInputStream对象中解析数据。
返回值：false，CodedInputStream格式错误或其他读错误。