移动开发之浅析cocos2d-x的中文支持问题

http://blog.csdn.net/tkokof1/article/details/7426706#_top

 

题记：这阵子一直在学习cocos2d-x，其跨平台的特性确实让人舒爽，引擎的框架概念也很成熟，虽然相应的第三方工具略显单薄，但也无愧是一件移动开发的利器啊，有兴趣的朋友有时间就多了解一下吧 ：）

  使用引擎的过程中遇到的问题很多，中文支持便是一例，虽然问题本身并不复杂，但是网上的相关资料都比较简单零散，自己捣鼓了几下，觉得有必要的整理一下，以此稍稍方便一下遇到相似问题的朋友，也算是自己的一点点学习总结，可惜自己水平有限，讲的不当甚至错误的地方请细心的朋友不吝指出，俗话说的好嘛：贻笑大方事小，误人子弟事大也 ：）

  一. 不就是用用setlocale嘛，简单！

  之前自己并未深入过C/C++对于多字符编码的支持问题，但也算是尝试过一些相关的示例程序，譬如这个中文版的Hello，World：

#include <cstdio>

#include <clocale>

using namespace std;

int main()

{

    // first we have to set the locale

    setlocale(LC_ALL, "chs");

    // then we use wprintf to output the Chinese string

    wprintf(L"%ls\n", L"世界，你好");

    // that's all :)

    return 0;

}

  程序的逻辑很简单，使用setlocale设置地域信息，然后使用wprintf输出对应的中文信息，一切似乎都非常简单自然。（注：如果使用GCC编译上述代码时，需要将源文件类型改为UTF-8格式，否则会提示解码错误，这是GCC的一个源文件限制）

  类似的，这里也有一个相同功能的C++程序：

#include <iostream>

using namespace std;

int main()

{

    // first we have to set the output stream locale

    wcout.imbue(locale("chs"));

    // then we use wcout to output the Chinese string

    wcout << L"世界，你好" << endl;

    // that's all :)

    return 0;

}

  代码的原理部分与之前的代码如出一辙，在此不再赘述，不过比较令我费解的是这段代码在CodeBlocks+MinGW4.4.1环境下，运行时会引起崩溃（由wcout.imbue(locale("chs"))这行代码引起），具体原因没有细究，似乎是GCC的一个BUG，如有朋友了解，请不吝告知，多谢 ：）

  关于以上问题的更多的一些信息可以在这里找到。

  好了，小小尝试了一下之后，就让我们开始整一整cocos2d-x中的中文了，巧的是cocos2d-x开发包（有兴趣的朋友可以从这里下载）的示例程序中恰好也有一个HelloWorld，那么事不宜迟，就让我们将这个程序修改为中文界面吧 ：）

  二. char 或者 wchar_t，这是一个问题

  首先让我们来看看cocos2d-x中原始的HelloWorld里涉及到的文本输出代码是哪些（如果你从未接触过cocos2d，推荐先熟悉一下其中的基本概念，网上优秀的入门教程很多，譬如这里）：

     /////////////////////////////

// 3. add your codes below...

// add a label shows "Hello World"

// create and initialize a label

    CCLabelTTF* pLabel = CCLabelTTF::labelWithString("Hello World", "Arial", 24);

// ask director the window size

CCSize size = CCDirector::sharedDirector()->getWinSize();

// position the label on the center of the screen

pLabel->setPosition( ccp(size.width / 2, size.height - 50) );

// add the label as a child to this layer

this->addChild(pLabel, 1);

  注释都很明了，大致意思便是创建一个CCLabelTTF，然后设置对应位置，并加入场景的child队列，就这样~~~在此给张示意例图：

  OK，到此我们的当前任务已经非常明显了，就是要将图中所示的“Hello World”改为“你好世界”，就是这么简单 ：）

  简单，让我们首先来一次最直接的修改：

    /////////////////////////////

// 3. add your codes below...

// add a label shows "Hello World"

// create and initialize a label

    CCLabelTTF* pLabel = CCLabelTTF::labelWithString(L"你好世界", "Arial", 24);

// ask director the window size

CCSize size = CCDirector::sharedDirector()->getWinSize();

// position the label on the center of the screen

pLabel->setPosition( ccp(size.width / 2, size.height - 50) );

// add the label as a child to this layer

this->addChild(pLabel, 1);

  想法虽然美好，可惜编译器无情的抱怨了：没有对应的调用接口……让我们来看一下labelWithString这个静态函数的声明：

  /** creates a CCLabelTTF from a fontname, alignment, dimension and font size */

  static CCLabelTTF * labelWithString(const char *label, const CCSize& dimensions, CCTextAlignment alignment, const char *fontName, float fontSize);

  /** creates a CCLabelTTF from a fontname and font size */

  static CCLabelTTF * labelWithString(const char *label, const char *fontName, float fontSize);

  我们暂时不用细究labelWithString的第一个重载版本，其实现了字体显示的更多细节控制，我们目前关心的是在源程序中我们调用的第二个版本，非常明显的一点便是其第一个文本参数，是一个常量char指针，而我们之前做的简单修改，实际上是传入了一个常量wchar_t指针，自然便出现了重载函数不存在的情况……那么接下来我们应该如何做呢？将wchar_t强制转换为char类型，恐怕没有这么简单，考虑ASCII字符A，其相应的wchar_t内容编码可能是这样的0x00|0x41，将其强制转换为char之后，其相应内容其实并没有改变，传给labelWithString只是相当于一个空字符串而已……那么让我们来修改labelWithString以让他支持wchar_t的调用或者自己动手扩展类似的接口，诚然，以上方案都是可行的，但是都不是那么简洁……

  唉，char 或者 wchar_t，这是一个问题啊~~~

  三. 拥抱UTF-8

  其实，我们还有更简单的方案，那就是使用UTF-8编码，在此让我简单的引用一段维基百科上关于UTF-8的简介：

  UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码（定长码），也是一种前缀码。它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII相容，这使得原来处理ASCII字符的软件无须或只须做少部份修改，即可继续使用。 

  看到了UTF-8编码的重要特性之一吗：与ASCII兼容！这就是我们想要的 ：） 那么事不宜迟，让我们马上动手将L“你好世界”转换为UTF-8编码，并传入labelWithString试一试吧：

  等等，在转码之前也许你会问：不管UTF-8本身的编码方式如何，之前我们硬编码进程序中的L“你好世界”这几个字符原来是什么编码呢？如果我们连原始编码都不了解，谈何转码一说呢？呵呵，你说的非常正确！只可惜关于C++中使用什么编码方式存储多字节字符并没有统一规定，各个编译器期间都有区别，可能是UTF-16，可能是UTF-32，当然，也有可能是UTF-8（这种情况下强制转换就可行了，尽管仍然很Ugly……），不过幸运的是，Win32的API ：WideCharToMultiByte为我们屏蔽了这些复杂性，让我们马上来试一试：

inline std::string WideByte2UTF8(const wstring& text)

{

int asciisize = ::WideCharToMultiByte(CP_UTF8, 0, text.c_str(), text.size(), NULL, 0, NULL, NULL);

if (asciisize == ERROR_NO_UNICODE_TRANSLATION ||

asciisize == 0)  

{  

return string();

}

char* resultstring = new char[asciisize];

int convresult = ::WideCharToMultiByte(CP_UTF8, 0, text.c_str(), text.size(), resultstring, asciisize, NULL, NULL);

if (convresult != asciisize)

{  

return string();

}  

std::string buffer(resultstring, convresult);

delete[] resultstring;

return buffer;

}

  

// add a label shows "Hello World"

// create and initialize a label

std::string text = WideByte2UTF8(L"你好世界");

CCLabelTTF* pLabel = CCLabelTTF::labelWithString(text.c_str(), "Arial", 24);

  哈哈，我们的第一步尝试成功了，来看一下截图：

  四. 还有其他更好的法子吗？

  上面的代码虽然可以完成任务，但是用到了平台特有的API，对于像cocos2d-x这般旨在跨平台的引擎而言，其实并不能算作很好的解决方案，那么我们还有什么其他法子吗？

  1.wcstombs/mbstowcs怎么样？

  其实C函数库中存在类似于WideCharToMultiByte的函数，他们就是wcstombs/mbstowcs，让我们马上来试一试：

//! convert wide string to string

inline std::string WStr2Str(const std::wstring& ws)

{

std::string curLocale = setlocale(LC_ALL, NULL); // get current locale

setlocale(LC_ALL, "chs");

const wchar_t* tSource = ws.c_str();

size_t tDsize = 2 * ws.size() + 1;

char* tDest = new char[tDsize];

memset(tDest,0,tDsize);

wcstombs(tDest,tSource,tDsize);

std::string result = tDest;

delete[] tDest;

setlocale(LC_ALL, curLocale.c_str());

return result;

}

// add a label shows "Hello World"

// create and initialize a label

std::string text = WStr2Str(L"你好世界");

CCLabelTTF* pLabel = CCLabelTTF::labelWithString(text.c_str(), "Arial", 24);

 

  不幸的是以上方案失败了：

  

  失败的原因其实很简单，wcstombs是根据当前设置的locale进行转换，由于此处我们设置的locale是“chs”，所以装换的过程是根据GBK编码进行的（就简体中文而言），并非是我们理想中的UTF-8，自然得不到我们期望的结果，那么为什么我们此处不设置locale为UTF-8呢，这是因为：Windows CRT 不支持~~~（唉……），但是我们至此可以找到一个这种方案：通过条件编译实现对应函数的装换，即在Win32平台上调用WideCharToMultiByte，其他支持UTF-8 locale的平台则调用wcstombs，嗯哼，貌似这个方案部分做到了跨平台的特性（对于那些不支持UTF-8 locale的非Win32平台还是不行~~~） ：）

  2. Boost提供的 utf8_codecvt_facet 怎么样？

  Boost中提供的utf8_codecvt_facet可以完成类似的UTF-8编码转换，可惜作为标准IO库中codecvt 的一个扩展，与string/wstring协作时并不是那么直观，有兴趣的朋友可以试上一试，个人感觉不是特别好 ：（

  3. 第三库如何？

  其实cocos2d-x的开发包内置了用于编码转换的iconv库，我们可以尝试一下，当然，更加重量级的还有ICU，如果你有兴趣的也可以研习一番，在此我们便就近试一下iconv吧：

bool IConvConvert(const char *from_charset, const char *to_charset, const char *inbuf, int inlen, char *outbuf, int outlen) 

{

    iconv_t cd = iconv_open(to_charset, from_charset);

if (cd == 0) return false;

const char **pin = &inbuf;

char **pout = &outbuf;

memset(outbuf,0,outlen);

size_t ret = iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);

iconv_close(cd);

return ret == (size_t)(-1) ? false : true;

}

std::string IConvConvert_GBKToUTF8(const std::string& str)

{

const char* textIn = str.c_str();

char textOut[256];

bool ret = IConvConvert("gb2312", "utf-8", textIn, strlen(textIn),textOut, 256);

return ret ? string(textOut) : string();

}

// add a label shows "Hello World"

// create and initialize a label

std::string text = IConvConvert_GBKToUTF8("你好世界");

CCLabelTTF* pLabel = CCLabelTTF::labelWithString(text.c_str(), "Arial", 24);

  哈哈，这次我们成功了：

  

  不过iconv的GNU许可倒是值得考量一下，对于一些用户可能产生困扰，当然如果考虑清楚，并且程序规模不存在问题时，我们还是推荐iconv的，否则cocos2d-x也不会自带iconv了 ：）

  4. 自给自足，丰衣足食

  虽然软件行业从不提倡重造车轮，但是如果你还不满意上述的各类方法，那么这也算是一条路子了，优点是够轻量、够可控等等；缺点同样明显，很脆弱、花时间等等，当然如果你确定考虑清楚了，那就放手干吧，这里给个示例示例：

//! convert from wstring to UTF8 using self-coding-converting

inline void WStrToUTF8(std::string& dest, const wstring& src){

dest.clear();

for (size_t i = 0; i < src.size(); i++){

wchar_t w = src[i];

if (w <= 0x7f)

dest.push_back((char)w);

else if (w <= 0x7ff){

dest.push_back(0xc0 | ((w >> 6)& 0x1f));

dest.push_back(0x80| (w & 0x3f));

}

else if (w <= 0xffff){

dest.push_back(0xe0 | ((w >> 12)& 0x0f));

dest.push_back(0x80| ((w >> 6) & 0x3f));

dest.push_back(0x80| (w & 0x3f));

}

else if (sizeof(wchar_t) > 2 && w <= 0x10ffff){

dest.push_back(0xf0 | ((w >> 18)& 0x07)); // wchar_t 4-bytes situation

dest.push_back(0x80| ((w >> 12) & 0x3f));

dest.push_back(0x80| ((w >> 6) & 0x3f));

dest.push_back(0x80| (w & 0x3f));

}

else

dest.push_back('?');

}

}

//! simple warpper

inline std::string WStrToUTF8(const std::wstring& str){

std::string result;

WStrToUTF8(result, str);

return result;

}

// add a label shows "Hello World"

// create and initialize a label

std::string text = WStrToUTF8(L"你好世界");

CCLabelTTF* pLabel = CCLabelTTF::labelWithString(text.c_str(), "Arial", 24);

  情况OK ：）

  

  5. 还有其他法子？

目前我能想到的法子就这么多了，什么，你还有其他法子，好吧，尽量晒出来吧，让我也开开眼界 ：）

五. 最后说几句

  Cocos2d-x的中文支持到此也算聊完了，有兴趣的朋友可以看看，以上内容也算是自己的一些学习历程，在此一一列出，希望能给朋友一些借鉴 ：）

  That's All ：）

部分参考（排名部分先后）：

1.http://stackoverflow.com/questions/148403/utf8-to-from-wide-char-conversion-in-stl 

2.http://www.boost.org/doc/libs/1_48_0/libs/serialization/doc/codecvt.html 

3.http://www.cnblogs.com/hnrainll/archive/2011/05/07/2039700.html 

4.http://www.gnu.org/software/libiconv/ 

5.http://site.icu-project.org/ 

6.http://blog.csdn.net/sjy88813/article/details/6662879 

7.http://www.linuxquestions.org/questions/programming-9/wstring-utf8-conversion-in-pure-c-701084/ 

8.http://zh.wikipedia.org/wiki/UTF-8 

 

-------------------------------------------------------------------

5楼 天使之翼2012-11-26 23:52发表 [回复] [引用][举报]

//将Unicode小端转为UTF8int UCS2ToUTF8(const uint8 *unicode, uint8 *utf8, int size){int u = 0, i = 0;memset(utf8, 0, size);while((unicode[u] || unicode[u+1]) && i < size-1){if(unicode[u] == 0 && unicode[u+1] < 128){// 0 - 7 bitsutf8[i++] = unicode[u+1];}else if((unicode[u] & 0xf8) == 0){// 8 - 11 bitsutf8[i++] = 0xc0 | (unicode[u] << 2) | (unicode[u+1] >> 6);utf8[i++] = 0x80 | (unicode[u+1] & 0x3f);}else{// 12 - 16 bitsutf8[i++] = 0xe0 | (unicode[u] >> 4);utf8[i++] = 0x80 | ((unicode[u] & 0x0f) << 2) | (unicode[u+1] >> 6);utf8[i++] = 0x80 | (unicode[u+1] & 0x3f);}u+=2;}utf8[i] = 0;return i;}

4楼 天使之翼2012-11-26 23:50发表 [回复] [引用][举报]

// 转换utf8字符串为unicode小端int UTF8ToUCS2String(const uint8 *utf8Str, uint16 *ucs2Buf, int ucs2MaxLen){uint16 *ucs2;uint8 v_Byte;ucs2 = ucs2Buf;if (ucs2 && utf8Str) {while ((v_Byte = *utf8Str) && (ucs2MaxLen-- > 0)) {if ((v_Byte & 0x80) == 0) {/* 1 Byte */*ucs2++ = v_Byte;utf8Str++;} else if ((v_Byte & 0xe0) == 0xc0) {/* 2 Bytes */*ucs2++ = ((v_Byte & 0x1f) << 6) | ((*(utf8Str + 1) & 0x3f));utf8Str += 2;} else if ((v_Byte & 0xf0) == 0xe0) {/* 3 Bytes */*ucs2++ = ((v_Byte & 0x0f) << 12)| ((*(utf8Str + 1) & 0x3f) << 6)| ((*(utf8Str + 2) & 0x3f));utf8Str += 3;} else {break;}}*ucs2 = 0;}return ucs2 - ucs2Buf;}