用C语言检测文本编码的方法
来源:互联网 发布:c语言自学网 编辑:程序博客网 时间:2024/05/16 18:22
我们经常会想知道某些文本文件的编码,可是编码检测却并不是一件简单的事情,它需要对文本进行采样,统计分析后再进行字符集的匹配,不过值得庆幸的是有uchardet(https://code.google.com/p/uchardet/)这样的开源库可以帮忙这项艰巨的任务。
uchardet是一个开源的用于文本编码检测的C语言库,其功能模块是用C++实现的,通过一定数量的字符样本独立的分析出文本的编码,当前已经支持UTF-8/GB13080/BIG5等共30多种编码。稍感遗憾的是uchardet几乎没提供什么文档,幸好作者通过学习和研究已经掌握其基本用法,这里给出一个实例,以免大家走弯路。
- #include <stdio.h>
- #include <uchardet/uchardet.h>
- /* 样本数量 */
- #define NUMBER_OF_SAMPLES (2048)
- int main(int argc, char* argv[])
- {
- FILE* file;
- char buf[NUMBER_OF_SAMPLES];
- int len;
- uchardet_t ud;
- /* 打开被检测文本文件,并读取一定数量的样本字符 */
- file = fopen("gb18030.txt", "rt");
- len = fread(buf, sizeof(char), NUMBER_OF_SAMPLES, file);
- fclose(file);
- /* 通过样本字符分析文本编码 */
- ud = uchardet_new();
- if(uchardet_handle_data(ud, buf, len) != 0) /* 如果样本字符不够,那么有可能导致分析失败 */
- {
- printf("分析编码失败!\n");
- return -1;
- }
- uchardet_data_end(ud);
- printf("文本的编码方式是%s。\n", uchardet_get_charset(ud)); /* 获取并打印文本编码 */
- uchardet_delete(ud);
- return 0;
- }
0 0
- 用C语言检测文本编码的方法
- 用C语言检测文本编码的方法
- 用C语言检测文本编码的方法
- Python检测文本字符编码的方法
- 一种语言/编码检测的复合方法
- python检测文本的字符编码快速方法
- C语言自动识别文本编码
- 文本编码检测
- C语言中内存泄漏的检测方法
- 看C语言编码转换--------负数的二进制表示方法
- 看C语言编码转换----负数的二进制表示方法
- 看C语言编码转换--------负数的二进制表示方法
- 用.net 编码实现朗读文本的方法
- 用.net 编码实现朗读文本的方法
- C语言内存泄漏检测方法
- C语言检测内存泄漏方法valgrind
- 编码实现读取文本的方法
- 编码实现读取文本的方法
- URL,URLConnection,HttPURLConnection的使用
- 多线程加速下载的逻辑实现
- Centos5.7 中文乱码问题解决方案
- C++对象特殊初始化及赋值
- MySQL存储过程详解 mysql 存储过程
- 用C语言检测文本编码的方法
- linux常用命令
- MySql 数据类型
- IOS开发 如果图片太大的缩小算法,通用多种情况
- Tiled Backing Store(四)
- 如何给Visual Studio的Win32 工程添加Version信息(how to add version information of win32 project)
- VMware虚拟机上网络连接(network type)的三种模式--bridged、host-only、NAT
- 原来是路由与网卡不兼容惹的祸!
- oracle 性能优化操作四:尽量去掉"IN"、"OR"