网页中遇到的网页文件编码问题的解决办法
来源:互联网 发布:网络信息安全知识 编辑:程序博客网 时间:2024/05/16 02:01
在处理网页源文件的时候,经常会遇到网页源文件编码的问题,这些问题在解析标签的时候倒是没什么问题,但是就是在存储的时候会有乱码发生。这个数据库,操作系统的默认编码有关系,当然罪魁祸首依然是千变万化的网页源文件造成的。
解决这个问题通常的做法是无论是什么编码格式, 一律转化为utf-8,但是事与愿违,转化为utf-8 需要首先知道当前源文件的编码,这就麻烦了,因为源文件里提供的编码标签并不能准确的描述源文件的编码,因为大多数浏览器并不关心。也就是说
<meta http-equiv="Content-type" content="text/html; charset=gb2312" />
这个标签并不能让浏览器就按照 gb2312来解析源代码,当然ie除外。
这就造成了大量的开发者明明 用utf-8,可是偏偏这里写着gb2312 ,当然测试通过了也就不管了。
无奈之下只好先判断源代码是不是utf-8,不是的话则默认认为它是gb2312.
以下是两个函数
void toUtf_8( string & str ){if(isUtf_8(str.c_str() , str.size()))return;else{string s = str;str = boost::locale::conv::between( s, "UTF-8", "gb2312" );}}bool isUtf_8(const char* str,long length){int i;int nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节unsigned char chr;bool bAllAscii=true; //如果全部都是ASCII, 说明不是UTF-8for(i=0;i<length;i++){chr= *(str+i);if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxxbAllAscii= false;if(nBytes==0) //如果不是ASCII码,应该是多字节符,计算字节数{if(chr>=0x80){if(chr>=0xFC&&chr<=0xFD)nBytes=6;else if(chr>=0xF8)nBytes=5;else if(chr>=0xF0)nBytes=4;else if(chr>=0xE0)nBytes=3;else if(chr>=0xC0)nBytes=2;else{return false;}nBytes--;}}else //多字节符的非首字节,应为 10xxxxxx{if( (chr&0xC0) != 0x80 ){return false;}nBytes--;}}if( nBytes > 0 ) //违返规则{return false;}if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8{return false;}return true;}
//注意这里使用了 boost的loca 库,需要在使用的时候加上相应的库目录和包含目录使用如下:#include <boost/locale.hpp>int main(){std::string str;str = download("url"); //获取源文件toUtf_8(str);doSomeThing(str); //现在可以用utf-8 做一些事情了}
- 网页中遇到的网页文件编码问题的解决办法
- 网页抓取中遇到的编码问题
- 网页文件的编码
- 网页编码的问题
- python 3读网页文件及保存成本地文件,遇到的编码问题
- 做网页中遇到的问题!
- 网页设计过程中遇到的问题!
- 网页设计过程中遇到的问题!
- 网页开发中遇到的小问题
- UTF-8在IE中不能自动选择编码的解决办法(utf8 网页在ie中自动编码乱码问题)
- 网页过期问题的解决办法
- 解决网页开发过程中遇到的问题以及思路
- 02-项目开发中遇到的问题之网页乱码
- 网页制作中遇到的小问题(2)
- 网页制作中遇到的一些问题及解决方案
- 记录网页制作过程中遇到的问题及解决方案
- 安装网页性能分析工具yslow中遇到的问题
- 网页UTF8编码开发中空白的问题
- java遍历Map集合
- 一致性读和current read演示
- 关于 工程中常用的矩阵理论 的那点小事
- Lesson4: 文本编程
- 我是程序猿-DIY电脑和阿胖
- 网页中遇到的网页文件编码问题的解决办法
- linux下编译mergevec和vec2img
- margin负值-权威指南
- LIBCD.lib(crt0.obj) : error LNK2001: unresolved external symbol _main
- Squid 高级控制
- COCOS2D-X之拖动精灵Demo
- OwnCloud安装的过程中配置MySQL出错
- 使用jacob打印excel
- 高效的练习