转贴 utf8 与 unicode的区别
来源:互联网 发布:微信闲来麻将作弊软件 编辑:程序博客网 时间:2024/06/04 19:55
utf8和unicode编码究竟是什么关系?有何区别?
2007-09-19 11:43
UTF8 == Unicode Transformation Format -- 8 bit
是Unicode传送格式。即把Unicode文件转换成BYTE的传送流。
UTF8流的转换程序:
Input: unsigned integer c - the code point of the character to be encoded (输入一个unicode值)
Output: byte b1, b2,b3, b4 - the encoded sequence of bytes (输出四个BYTE值)
Algorithm(算法):
if (c<0x80)
b1 = c>>0 & 0x7F | 0x00
b2 = null
b3 = null
b4 = null
else if (c<0x0800)
b1 = c>>6 & 0x1F | 0xC0
b2 = c>>0 & 0x3F | 0x80
b3 = null
b4 = null
else if (c<0x010000)
b1 = c>>12 & 0x0F | 0xE0
b2 = c>>6 & 0x3F | 0x80
b3 = c>>0 & 0x3F | 0x80
b4 = null
else if (c<0x110000)
b1 = c>>18 & 0x07 | 0xF0
b2 = c>>12 & 0x3F | 0x80
b3 = c>>6 & 0x3F | 0x80
b4 = c>>0 & 0x3F | 0x80
end if
=====================
unicode 是一种编码表格,例如,给一个汉字规定一个代码。类似 GB2312-1980, GB18030等,只不过字集不同。
=====================
一个unicode码可能转成长度为一个BYTE,或两个,三个,四个BYTE的UTF8码,取决于unicode码的值。英文unicode码因为值小于0x80,只要用一个BYTE的UTF8传送,比送unicode两个BYTEs快。
UTF8是为传送unicode而想出来的“再编码”方法罢了。
UTF8转unicode用我上面给的程序反算即可。
UTF8是现有ASCII系统转向Unicode系统的一个过渡解决方案。UTF8是保证 ASCII兼容性,再向大字符集方向扩展。这是Unicode推荐的方案。但是因 为解决问题的角度不同,对现有的中文系统不是好的解决方案。 一下连接提供了详细的 UTF8编码的初步知识 http://www.acnis.com/modules.php?name=ArticlE&file==article&sid==102 参考资料:http://www.acnis.com/modules.php?name=ArticlE&file==article&sid==102
什么是Unicode。Unicode的基本目标是统一所有的编码,即它包含所有的字符集。这样只要一个系统支持Unicode,那么,就能处理这些字符集。一般Unicode有两个字节。现在的windows操作系统都是支持Unicode的。
什么是UTF8呢?UTF8是一种Unicode编码,即它的编码的字符集和Unicode是一致的。但编码的方式不一样。对于英文字符来讲,UTF8的编码和一般的一样,用到一个字节。但对于中文来讲,那么要用三个字节表示(记忆中是三个)。
UTF8和Unicode的缺点是在处理查找、搜索等问题时,好像算法上比较复杂,效率不高(记忆中)。
是Unicode传送格式。即把Unicode文件转换成BYTE的传送流。
UTF8流的转换程序:
Input: unsigned integer c - the code point of the character to be encoded (输入一个unicode值)
Output: byte b1, b2,b3, b4 - the encoded sequence of bytes (输出四个BYTE值)
Algorithm(算法):
if (c<0x80)
b1 = c>>0 & 0x7F | 0x00
b2 = null
b3 = null
b4 = null
else if (c<0x0800)
b1 = c>>6 & 0x1F | 0xC0
b2 = c>>0 & 0x3F | 0x80
b3 = null
b4 = null
else if (c<0x010000)
b1 = c>>12 & 0x0F | 0xE0
b2 = c>>6 & 0x3F | 0x80
b3 = c>>0 & 0x3F | 0x80
b4 = null
else if (c<0x110000)
b1 = c>>18 & 0x07 | 0xF0
b2 = c>>12 & 0x3F | 0x80
b3 = c>>6 & 0x3F | 0x80
b4 = c>>0 & 0x3F | 0x80
end if
=====================
unicode 是一种编码表格,例如,给一个汉字规定一个代码。类似 GB2312-1980, GB18030等,只不过字集不同。
=====================
一个unicode码可能转成长度为一个BYTE,或两个,三个,四个BYTE的UTF8码,取决于unicode码的值。英文unicode码因为值小于0x80,只要用一个BYTE的UTF8传送,比送unicode两个BYTEs快。
UTF8是为传送unicode而想出来的“再编码”方法罢了。
UTF8转unicode用我上面给的程序反算即可。
UTF8是现有ASCII系统转向Unicode系统的一个过渡解决方案。UTF8是保证 ASCII兼容性,再向大字符集方向扩展。这是Unicode推荐的方案。但是因 为解决问题的角度不同,对现有的中文系统不是好的解决方案。 一下连接提供了详细的 UTF8编码的初步知识 http://www.acnis.com/modules.php?name=ArticlE&file==article&sid==102 参考资料:http://www.acnis.com/modules.php?name=ArticlE&file==article&sid==102
什么是Unicode。Unicode的基本目标是统一所有的编码,即它包含所有的字符集。这样只要一个系统支持Unicode,那么,就能处理这些字符集。一般Unicode有两个字节。现在的windows操作系统都是支持Unicode的。
什么是UTF8呢?UTF8是一种Unicode编码,即它的编码的字符集和Unicode是一致的。但编码的方式不一样。对于英文字符来讲,UTF8的编码和一般的一样,用到一个字节。但对于中文来讲,那么要用三个字节表示(记忆中是三个)。
UTF8和Unicode的缺点是在处理查找、搜索等问题时,好像算法上比较复杂,效率不高(记忆中)。
http://hi.baidu.com/a3g3/blog/item/d9036c95eaf5210b7bf480fc.html
- 转贴 utf8 与 unicode的区别
- UNICODE与UTF8,UTF16的联系与区别
- UTF8,Unicode 的区别(zt)
- unicode和utf8的区别
- ANSI,ASCII,Unicode,UTF8 , UTF16的区别与联系
- C#中Encoding.Unicode与Encoding.UTF8的区别
- C#中Encoding.Unicode与Encoding.UTF8的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- Ansi,UTF8,Unicode,ASCII编码的区别
- 获得引起postback的控件
- 投递到CSDN技术中心文章不见了
- Web Dynpro利用JXL读取Excel汉字乱码问题
- 妙招避免网络IP地址被非法修改
- Tomcat Server 原理
- 转贴 utf8 与 unicode的区别
- 局域网接入Internet的方式
- 周鸿祎谈网络时代创业和风险投资
- struts2.0入门
- 每个开发人员现在应该下载的十种必备工具
- SQL Server 2005 中感受Synonym | Leesoft.com.cn
- linux 线程同步
- I/O流的控制符
- dfmounts -F nfs guest