网页和URL内非英语字符的编码方法

HTML和URL中对于ASCII码中大于0x7f的字符需要进行编码，主要有”\u”和“&#”两种前缀编码方式，其后跟的字符都是unicode编码。
《Unicode Escape Formats》中对各中编码进行了介绍，比较全面
http://billposer.org/Software/ListOfRepresentations.html

&#前缀的unicode编码属于NCR规范，参见
https://en.wikipedia.org/wiki/Numeric_character_reference
https://en.wikipedia.org/wiki/Character_encodings_in_HTML#HTML_character_references
“&#x”开头的是NCR中的十六进制格式，里面的字母常见为小写，但也可以大小写混用。

下面是我写的一个实现，配合linux系统的iconv函数，可以方便的将unicode转换为各种网页编码。

int uni2ascii(const char* fmt,const char* src, const int srclen, char* dst, const int dstsize) {    int i=0,j=0;    assert(srclen%2==0);//unicode must be 2 bytes aligned.    while(i<srclen&&j<dstsize)    {        if(*(unsigned short*)(src+i)<0x7f)        {            dst[j]=*(unsigned short*)(src+i);            j++;        }        else        {            j+=snprintf(dst+j,dstsize-j,fmt,*(unsigned short*)(src+i));        }        i+=2;    }    return j;}int main(){    //convert src to unicode first with iconv in linux. by littlefang    switch(to_charset){        case CHARSET_UNICODE_ASCII_ESC:            fmt="\\u%x;";            break;        case CHARSET_UNICODE_ASCII_ALIGNED:            fmt="\\u%04x";            break;        case CHARSET_UNICODE_NCR_DEC:               fmt="&#%u;";            break;        case CHARSET_UNICODE_NCR_HEX:            fmt="&#x%x;";        default:    }    uni2ascii(fmt,src_unicode,,,);}

比较好用的在线的转换工具：
http://tool.chinaz.com/tools/unicode.aspx
它的中文转UNICODE工具生成“\u”前缀码；中文转UTF-8工具生成的是”&#x”前缀码，即16进制NCR。

PHP/Python/JS等语言有大量的转换工具，目前C语言比较好用的离线转换工具就是uni2ascii，下载地址：
http://billposer.org/Software/uni2ascii.html
URL编码较为简单，只有UTF-8和GB2312两种，下面这篇文章讲的很透彻，就不再赘述了。
http://renmin.cnblogs.com/archive/2005/10/14/254773.html