Unicode编码方案简介及实现
来源:互联网 发布:什么是4g网络 编辑:程序博客网 时间:2024/05/22 14:39
部分摘自:维基百科(http://zh.wikipedia.org/wiki/Unicode)
百度知道(http://baike.baidu.com/view/40801.htm)
为了使内容简练,所以删去了很多东西。如果查看详细内容,请查看上面的链接。
大概来说,Unicode 编码系统可分为编码方式和实现方式两个层次。
编码方式
Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符,最多可以容纳1114112个字符,或者说有1114112个码位。码位就是可以分配给字符的数字。
通用字符集(Universal Character Set,UCS)是由ISO制定的ISO 10646(或称ISO/IEC 10646)标准所定义的标准字符集。UCS-2用两个字节编码,UCS-4用4个字节编码。
实现方式
UTF-8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。UTF是“UCS Transformation Format”的缩写,可以翻译成Unicode字符集转换格式,即怎样将Unicode定义的数字转换成程序数据。
例如,“汉字”对应的数字是0x6c49和0x5b57,而编码的程序数据是:
BYTE data_utf8[] = {0xE6, 0xB1, 0x89, 0xE5, 0xAD, 0x97}; // UTF-8编码
WORD data_utf16[] = {0x6c49, 0x5b57}; // UTF-16编码
DWORD data_utf32[] = {0x6c49, 0x5b57}; // UTF-32编码
BYTE、WORD、DWORD分别表示无符号8位整数,无符号16位整数和无符号32位整数。
UTF-8、UTF-16、UTF-32分别以BYTE、WORD、DWORD作为编码单位。
“汉字”的UTF-8编码需要6个字节。“汉字”的UTF-16编码需要两个WORD,大小是4个字节。“汉字”的UTF-32编码需要两个DWORD,大小是8个字节。根据字节序的不同,UTF-16可以被实现为UTF-16LE或UTF-16BE,UTF-32可以被实现为UTF-32LE或UTF-32BE。下面介绍UTF-8、UTF-16、UTF-32、字节序和BOM。
(1)UTF-8
UTF-8以字节( Byte )为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下:
Unicode编码(16进制) ║ UTF-8 字节流(二进制)
000000 - 00007F ║ 0xxxxxxx
000080 - 0007FF ║ 110xxxxx 10xxxxxx
000800 - 00FFFF ║ 1110xxxx 10xxxxxx 10xxxxxx
010000 - 10FFFF ║ 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
UTF-8的特点是对不同范围的字符使用不同长度的编码,因此UTF-8编码也称为变长编码(这点很关键呀!)。
对于0x00-0x7F之间的字符,UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。
从上表可以看出,4字节模板有21个x,即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。
例1:“汉” 的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间,使用用3字节模板了:1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是:0110 1100 0100 1001, 用这个比特流依次代替模板中的x,得到:1110011010110001 10001001,即E6 B1 89。
例2:Unicode编码0x20C30在0x010000-0x10FFFF之间,使用用4字节模板了:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字(不足21位就在前面补0):00010 0000 1100 0011 0000,用这个比特流依次代替模板中的x,得到:11110000 10100000 10110000 10110000,即F0 A0 B0 B0。
(2)UTF-16
UTF-16编码以16位无符号整数为单位(一个字符占两个字节)。我们把Unicode编码记作U。
(3)UTF-32
UTF-32编码以32位无符号整数为单位(一个字符占用4个字节)。Unicode的UTF-32编码就是其对应的32位无符号整数。
编码方式之间的一些转换(不全,自己找的一些材料,没有进行验证)
- Unicode编码方案简介及编码实现
- Unicode编码方案简介及实现
- 计算机字符编码及Unicode简介
- python unicode 及解码编码方式简介
- Unicode编码简介
- Unicode编码简介
- Unicode编码简介【转】
- Unicode编码简介
- 计算机字符编码及Unicode简介(转)
- Unicode标准规范和Unicode编码方案
- 编码方案-unicode-utf-8
- CSS 中文字体 Unicode 编码方案
- CSS 中文字体 Unicode 编码方案
- 字符编码简介:ASCII,Unicode,UTF-8,GB2312及Unicode和UTF-8如何转化
- 字符编码简介:ASCII,Unicode,UTF-8,GB2312及Unicode和UTF-8如何转化
- base64编码简介及具体实现
- base64编码简介及具体实现
- 哈夫曼树及编码简介和实现
- 基于easyBMP1.06实现bmp到IPlImage的转换
- 软件随想录:程序员部落酋长Joel谈软件(阮一峰译)-3
- 从 Objective-C 里的 Alloc 和 AllocWithZone 谈起
- 数据同步方式
- Eclipse中应该掌握的快捷键
- Unicode编码方案简介及实现
- 转 linux下IPTABLES配置详解
- 线程没有正常结束产生的内存泄露问题的解决
- live555 H264及sps和pps
- Ogre实现不同动画之间的混合
- MyEclipse 10 + Maven2 + Tomcat6 开发环境
- ofstream和ifstream详细用法
- ndk开发之利用android系统中.so库文件(例:libsqlite.so)
- Linux下char类型可能带来的问题