GBK和Utf-8字符串截取函数

来源：互联网发布：h3c mac过滤编辑：程序博客网时间：2024/05/17 02:52

工作中用到了，就写了一个。

GBK编码从0x8140-0xFEFE，去除0xxx7F这部分。包括了所用的中日韩字符集。

判断是否为GBK可以用isGBKChe 或 isGBKChe2，都可以。

一个是从区间判断，一个是从第一个字节的头位为一这个特性判断。

typedef     unsigned char var_u1;#define isZone(p,a,b) ( (p) >= (a) && (p) <= (b) )#define isGBKChe(p) (isZone(*(var_u1*)p,0x81,0xFE) && isZone(*(var_u1*)(p+1),0x40,0xFE) && *(p+1) != 0x7F )#define isGBKChe2(p) (*(p)<0)static int cutbuf(char* p, int len, int size){ if( len<= size )  return len; char *pEnd = p + size - 1; char *pCur = p; if( !isGBKChe(pEnd) )  return size;  while(pCur<pEnd) {  if( isGBKChe(pCur) )   pCur+=2;  else   pCur++; }  return pCur-p; }

utf-8判断遵循的是这个属性：

UTF-8的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

下表总结了编码规则，字母x表示可用编码的位。

汉字位于第三区间内，由三字节编码组成。

所以只要鉴别第一字节的头四个字位，后两位的前两个字位即可。

#define isUTF8Che(p) ( (*(var_u1*)(p))>>4 == 0x0E && (*(var_u1*)(p+1))>>6 == 0x02 && (*(var_u1*)(p+2))>>6 == 0x02 )static int qi_cutbuf_utf8(var_1* p, int len, int size){if( len<= size )return len;if( *(p + size - 1) >= 0 )return size;if( size < 3 )return 0;char *pEnd = p + size;char *pCur = p + size - 2;while(pCur>p && (*(var_u1*)(pCur))>>4 != 0x0E ){pCur--;}while(pCur<pEnd){if( isUTF8Che(pCur) )pCur+=3;elsepCur++;}if( pCur > pEnd )pCur -= 3;return pCur-p;}

中间做了个优化，

1.如果截取末尾为正数，可以认为该字符为单字符编码，直接截取即可。

2.如果小于3字节，返回0长度。

3.向前找1110 xxxx或大于零的字节，然后从该位置向后计算，这样可以不用从头遍历。

这两个文章是介绍编码字符集的：

字符编码简介：ASCII，Unicode，UTF-8，GB2312：http://www.cnblogs.com/mjgforever/archive/2008/02/27/1083135.html

字符集GBK和UTF8的区别说明：http://space.itpub.net/55022/viewspace-713901