Lazarus 将gb2312的MemoryStream转换成String

来源:互联网 发布:godaddy域名申请 编辑:程序博客网 时间:2024/06/05 20:19

业余爱好用lazarus写了个小程序读取网页数据,读取数据很快就实现了。但是碰到了汉字编码的问题,乱码。

实现过程:

1.用IndHttp 读取网页数据,获取的数据会放在TMemoryStream 里面

2.将TMemoryStream 里面的数据提取到String里面显示出来。

碰到的问题:

1.用TStringStream, 强制类型转换TMemoryStream 里面的数据,然后读取DataString. 显示乱码。

2.将TmemoryStream里面的数据一个一个char都出来放到String 里,还是显示乱码。

3.将TmemoryStream里面的数据一个一个byte都出来放到String 里,还是显示乱码。

问题分析:

1. 经过跟踪IndHttp 的response,返回的格式是GB2312的,通过IOHandler 读取数据后放在MemoryStream 里面。

2. 将MemoryStream里面的每个Byte读取出来分析,发现字母数字标点符号都是一个byte,而且显示正常;到汉字的时候,因为是gb2312所以是连着的两个byte 表示一个汉字,例如 byte 值为 190+198 表示‘酒’字,Hex的表示是BEC6,到一些在线转码工具上验证过是正确的,所以可以确定MemoryStream里的数据是可以用的,只是需要正确的转码方式。

3. 用const的汉字字符串赋值给一个String, 如str:='酒'; 然后看看str里面的byte情况,发现由三个byte组成的,这是因为str统一用的是utf8编码。

4. 到这里基本上确定问题了,就是一个gb2312 的byte 数组怎么转成utf8 字符串。

5. 经过实验了很多方式,把'酒'字的两个byte 怎么赋值给str 都不行,我想简单的赋值fpc是不会处理转换的,或者说一赋值就是乱码。

6. 觉得需要个编码翻译,或者说一个对照表,查了资料lcl果然有 就在lconvencoding 里面。

解决方法:

1. 把MemoryStream里面的数据每个byte 读取出来,如果byte值小于等于127的直接赋值给String就好了,因为这些都是字母数字标点符号,

2. 如果是大于等于128的,看作是汉字,将连着的两个byte 取出来,然后用CP936ToUTF8 进行转码翻译。代码如下:

     s1:=chr(bytes[i]);
     s2:=chr(bytes[i+1]);
     str:=CP936ToUTF8(s1+s2);

3. 经过上面的两个步骤,可以把带汉字的gb2312 正常的转换到utf8 string里面了。

后续:

1. 没有测试过带中文标点符号的情况,还不知道对中文标点处理会怎么样。

0 0
原创粉丝点击