搜索引擎中的字符串归一化

搜索引擎中对于Q查询，都会涉及到字符串归一化这个步骤，以提高结果召回率。字符串的归一化包括三个方面：繁体转简体；全角字符转半角；大写字母转小写。

建倒排时，会先对字符串做归一化处理，然后再分词取term；用户查询时，也会对查询串做同样的操作，这样就能找到对应的倒排链。

在返回查询结果给前端时，会按照查询串对原文做飘红，这里就涉及到一个问题，原文是没有归一化的；为了解决这个问题，我们自己写了个normalize_strstr，如下：

char* normalize_strstr(const char *src, int srclen,
        const char *key, int keylen, int *outsize){
    unsigned short srcword = 0, keyword = 0;

    int srcpos = 0;
    do {
        int tmppos = srcpos;
        int keypos = 0;
        do {
            keyword = get_utf8_word(key, keylen, &keypos);
            if(keyword == 0) {
                *outsize = tmppos - srcpos;
                return (char*)(src + srcpos);
            }
            srcword = get_utf8_word(src, srclen, &tmppos);
            if(srcword == 0) {
                return NULL;
            }
        }while(TOLOWER(g_uni_normal_map[keyword]) ==    // compare key with substr
                TOLOWER(g_uni_normal_map[srcword]));    // normal map doesn't convert upper case to lower

    } while(get_utf8_word(src, srclen, &srcpos) != 0);  // move forward one utf8 character

    return NULL;
}

关于gbk, gb18030, utf8, unicode等问题，可以参见: http://www.cnblogs.com/xiaomia/archive/2010/11/28/1890072.html 。

几个关键点：gbk都是双字节；gb18030大多都是双字节，有少量4字节；unicode为世界上每个字指定一个编码，目前还没有超出2字节； utf8是对unicode的编码，以便于传输，目前有1字节，2字节，3字节，4，5，6字节，中文大多落在3字节。所以中文用utf8存储，比gbk存储要多出50%空间。另外strstr系列函数，对gbk是不安全的，即第一个字符的第二个字节，和第二个字符的第一个字节，可能是另外一个汉字。但utf8对strstr就是安全的，浪费一些空间，让每个byte的前缀不同。

编码转码相关的代码，可以参考：http://code.google.com/p/pycode-hz/ 。 这是py的作品，简洁明了，看看就知道编码究竟是怎么回事。不过效率的话，这里的编码转换性能，不如系统自带的iconv高。