利用HTTP的POST方法做个在线翻译的小工具

    最近做了一个英汉小翻译的东东，用的是VC，ADO + Access访问数据库，单词数据库是从金山打字通2002弄来的。后来想了想，想再加个在线翻译的功能，记得经常使用GOOGLE翻译网站的在线翻译，也蛮好用的。于是用Ethereal抓包工具抓了一下它的包，发现浏览器发出去的包格式如下：

POST /translate_t?langpair=en|zh-CN HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-silverlight, application/QVOD, */*
Referer: http://www.google.cn/language_tools
Accept-Language: zh-cn
Content-Type: application/x-www-form-urlencoded
Accept-Encoding: gzip , deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1; .NET CLR 2.0.50727)
Host: translate.google.com
Content-Length: 46
Connection: Keep-Alive
cache-Control: no-cache
Cookie: __utmc=195145449; __utma=195145449.421253565.1205461371.1205592024.1205592348.11; __utmz=195145449.1205585337.9.8.utmccn=(referral)|utmcsr=hao123.com|utmcct=/ss/fy.htm|utmcmd=referral; __utmb=195145449

hl=zh-CN&ie=UTF-8&text=bad&langpair=en%7Czh-CN

        以前也曾接触过一点HTTP协议的知识，HTTP协议并不难，实际上只不过是互相发送些命令，这些命令都是ASCII码的字符串。不过也还总是有些地方模糊不清。现在就来做个笔记，把已经清楚的一些东西记下来，日积月累就好了：

        上面的这段HTTP协议请求包数据其实是由两部分组成的：分别是HTTP请求协议头和HTTP用户数据段。HTTP请求协议头和HTTP用户数据段之间用空行隔开。另外还有一个要注意的地方是每一行的结尾都有个回车换行符(VC中/r/n或者是VB中的vbCrlf)，不然怎样叫做一行呢？呵呵。

POST /translate_t?langpair=en|zh-CN HTTP/1.1
方法 处理该HTTP请求的页面URL(相对路径) 协议版本号

POST表示用HTTP协议的POST方法，HTTP协议常用的方法还有GET，我们来看一个GET方法的HTTP请求包格式：

GET /search?hl=zh-CN&q=%E4%B8%AD%E5%9B%BD%E4%BA%BA&btnG=Google+%E6%90%9C%E7%B4%A2&meta=&aq=f HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-silverlight, application/QVOD, */*
Referer: http://www.google.cn/
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1; .NET CLR 2.0.50727)
Host: www.google.cn
Connection: Keep-Alive
Cookie: PREF=ID=77ecc97ca62c7506:NW=1:TM=1205461328:LM=1205461328:S=J2uiHSrM9WZw7SBK; NID=8=Y8WD-oZWm6VqlKQPJn4NAaFJ6OZH9m7DHwGuYHa4NTczuMmCjOlnCn7WYxLAYJq-ZsGKGBSRWTZdQAwbt7zuzIPPxVqKp3zCb93z5GuHHxxblzwcTGQUmcMADxh7v3eX

        这是在www.google.cn搜索页面输入了“中国人”之后，浏览器发送出来的HTTP请求包。

GET /search?hl=zh-CN&q=%E4%B8%AD%E5%9B%BD%E4%BA%BA&btnG=Google+%E6%90%9C%E7%B4%A2&meta=&aq=f HTTP/1.1
方法 处理该HTTP请求的页面URL(相对路径) 协议版本号

        可以发现，www.google.cn搜索页面使用的GET方法(每个页面所使用的方法可以从该网页的源代码中查看到)。
        可以看到，两个方法之间的区别是GET方法不带HTTP用户数据段，GET方法的HTTP用户数据段包含在了这里
/search?hl=zh-CN&q=%E4%B8%AD%E5%9B%BD%E4%BA%BA&btnG=Google+%E6%90%9C%E7%B4%A2&meta=&aq=f

        解释一下上面这个URL：
        /search是处理该GET请求的页面地址，使用的是相对路径，?开始后面的就是发送的用户数据段了，其实就是该页面中各元素的值。它们之间用&分隔。

hl=zh-CN
q=%E4%B8%AD%E5%9B%BD%E4%BA%BA
btnG=Google+%E6%90%9C%E7%B4%A2
meta=
aq=f

        你可以用IE浏览器打开www.google.cn这个网页，然后点IE里的查看菜单，再点源文件，在打开的脚本文件中分别查找hl、q、btnG、meta、aq等字符串。可以发现，

<input name=hl type=hidden value=zh-CN>  名字为hl的隐藏(type=hidden)输入框，值value为zh-CN

<input autocomplete="off" maxlength=2048 name=q size=55 title="Google 搜索" value="">  名字为q的输入框，这个就是你在搜索时输入的那个框，初始值value为空，当你输入若干字符后点“Google 搜索”按钮，该控件的value值就为你输入的字符了。

<input name=btnG type=submit value="Google 搜索">  名字为btnG的提交按钮(submit)，就是那个“Google 搜索”按钮。

<input name=btnI type=submit value="手气不错">  另外一个名字为btnI的提交按钮，“手气不错”按钮。

<input id=all type=radio name=meta value="" checked><label for=all>所有网页 &nbsp;</label>  名字为meta的单选钮(radio)，值value为空。旁边还有几个单选钮就不列出了。

<form action="/search" name=f>  以上这些控件都是包含在一个form中的，当用户单击这个form中的submit按钮时，这个form中的数据(各控件的值)就会被浏览器提交到action="/search"这个页面去处理。

        好了，我们理解了GET方法，回到我们POST中来。跑题了，呵呵。

Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-silverlight, application/QVOD, */*
接收的数据类型，格式为：主类型/子类型

Referer: http://www.google.cn/language_tools
应该是从哪个页面转向过来的(也就是提交该HTTP请求的页面)

Accept-Language: zh-cn
接收方使用的语言，zh-cn应该代表简体中文

Content-Type: application/x-www-form-urlencoded
网页内容(用户数据段)所属的类型

Accept-Encoding: gzip, deflate
接收方的数据编码方式，gzip经过压缩的

User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1; .NET CLR 2.0.50727)
用户浏览器类型

Host: translate.google.com
主机名字

Content-Length: 46
网页内容(用户数据段)的长度

Connection: Keep-Alive
连接状态，Keep-Alive保持连接

cache-Control: no-cache
不使用cache

Cookie: __utmc=195145449; __utma=195145449.421253565.1205461371.1205592024.1205592348.11; __utmz=195145449.1205585337.9.8.utmccn=(referral)|utmcsr=hao123.com|utmcct=/ss/fy.htm|utmcmd=referral; __utmb=195145449
Cookie内容

        (注意：以上这些都是我个人的理解，并不一定正确。需要正确的解释请参考HTTP协议的介绍。)

        最关键的还是用户数据段这地方，改动一下就可以模拟IE浏览器POST数据到GOOGLE翻译网站了。
hl=zh-CN&ie=UTF-8&text=bad&langpair=en%7Czh-CN

hl=zh-CN
ie=UTF-8
text=bad
langpair=en%7Czh-CN

<input type=hidden name=hl value="zh-CN">  名字为hl的隐藏(type=hidden)输入框，值value为zh-CN

<input type=hidden name=ie value="UTF8">  名字为ie的隐藏(type=hidden)输入框，值value为UTF8

<textarea name=text wrap=SOFT dir="ltr" id=source>bad</textarea>  名字为text的文本框(textarea)，就是我们输入需要翻译的原文的那个框

<select name=langpair>
<option value="ar|en">阿拉伯文到英语</option>
......
<option value="en|zh-CN" selected>英语到中文(简体)</option>
......
</select>
名字为langpair的列表组合框，当我们选择英语到中文(简体)的时候它的值value就等于en|zh-CN了，上面langpair=en%7Czh-CN这里的%7C就是|的百分号加十六进制编码。

        好了，介绍到这里，我们下面来做个例子试验一下！

#include  <stdio.h> 
#include  <winsock2.h>  //winsock库头文件
#include  <windows.h> 

#pragma comment(lib,"WS2_32.lib")  //连接winsock库文件

int main()
{ 
    WSADATA stWsaData = {0};
    SOCKET hSocket = 0;
    sockaddr_in stRemoteAddr = {0};
    char cSendData[4096] = {0};  //发送数据缓冲区
    char cRecvData[10240] = {0};  //接收数据缓冲区
     int nRetBytes = 0;

    ::WSAStartup(MAKEWORD(2,0),&stWsaData);  //初始化winsock库

    hSocket = ::socket(AF_INET,SOCK_STREAM,0);  //创建TCP套接字
    if(hSocket == INVALID_SOCKET)
        return 0;

    stRemoteAddr.sin_family = AF_INET;  //填充sockaddr_in结构
    //64.233.189.104为ping www.google.com得到的IP，暂时懒得写转换IP函数了
    stRemoteAddr.sin_addr.S_un.S_addr = inet_addr("64.233.189.104"); 
    stRemoteAddr.sin_port = htons(80);

    if(::connect(hSocket,(sockaddr *)&stRemoteAddr,sizeof stRemoteAddr) == -1)  //连接到服务器
    ...{
        ::closesocket(hSocket);  //关闭TCP套接字
        ::WSACleanup();  //释放winsock库
        return 0;
    }
    
    //构造HTTP请求数据包的请求头
    strcpy(cSendData,"POST /translate_t?langpair=en|zh-CN HTTP/1.1/r/n"); 
    strcat(cSendData,"Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, application/x-silverlight, application/QVOD, */*/r/n"); 
    strcat(cSendData,"Referer: http://www.google.cn/language_tools/r/n"); 
    strcat(cSendData,"Accept-Language: zh-cn/r/n"); 
    strcat(cSendData,"Content-Type: application/x-www-form-urlencoded/r/n"); 
    //strcat(cSendData,"Accept-Encoding: gzip , deflate/r/n"); 
    strcat(cSendData,"User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1; .NET CLR 2.0.50727)/r/n"); 
    strcat(cSendData,"Host: translate.google.com/r/n"); 
    strcat(cSendData,"Content-Length: 46/r/n");
    strcat(cSendData,"Connection: Keep-Alive/r/n"); 
    strcat(cSendData,"cache-Control: no-cache/r/n"); 
    //strcat(cSendData,"Cookie: __utmc=195145449; __utma=195145449.421253565.1205461371.1205592024.1205592348.11; __utmz=195145449.1205585337.9.8.utmccn=(referral)|utmcsr=hao123.com|utmcct=/ss/fy.htm|utmcmd=referral; __utmb=195145449/r/n"); 
    
    //请求头与用户数据段之间的分隔行
    strcat(cSendData,"/r/n");

    //构造HTTP请求数据包的用户数据段
    strcat(cSendData,"hl=zh-CN&ie=UTF-8&text=bad&langpair=en%7Czh-CN");

    printf("HTTP协议请求头包格式： %s",cSendData);

    ::send(hSocket,cSendData,sizeof cSendData,0);  //发送
    
    nRetBytes = ::recv(hSocket,cRecvData,sizeof cRecvData,0); 
    printf(" 总共收到了%d数据!",nRetBytes);

    //保存网页到文件(注意：返回的数据中包含HTTP响应头，而HTTP网页文件是不应该有这个的，应该去掉，这里我省略了)
    FILE * fp = fopen("C:翻译结果网页.htm","wb");
    fwrite(cRecvData,nRetBytes,1,fp); 
    fclose(fp); 
     
    ::closesocket(hSocket);  //关闭TCP套接字
    ::WSACleanup();  //释放winsock库
    return 0; 

}

 

        上面这个仅仅是翻译英文单词“bad”的功能，实现完整的例子还是由读者自己来做吧。^_^需要做的只是修改text字段的值，另外还有就是相应的Content-Length也应该改为你用户数据段实际的长度。

        还有两个问题：1，我为什么把上面的两段注释呢？Accept-Encoding: gzip , deflate是返回的网页的内容是经过压缩了的，我们就要自己解压缩，偷懒的做法是让服务器返回不压缩的网页。另外那句Cookie要不要无关紧要。2，当你尝试着用中文去翻译成英文的时候，你会遇到URL编码的问题，直接发送中文过去是错误的，必须经过URL编码(%E4%B8%AD%E5%9B%BD%E4%BA%BA的形式)，这个还不止，还加上网页编码的问题，像百度和GOOGLE就是个样例：百度网页使用的是GB2313编码，而GOOGLE使用的却是UTF-8编码，针对不同的网页编码需要根据不同的编码进行转换。

        像在搜索页面输入“中国人”三个中文，

        百度的编码是：http://www.baidu.com/s?wd=%D6%D0%B9%FA%C8%CB&cl=3。

       “中国人”的GB2312编码：D6 D0 B9 FA C8 CB(16进制，一个中文两个字节)

       而GOOGLE的编码却是：http://www.google.cn/search?hl=zh-CN&q=%E4%B8%AD%E5%9B%BD%E4%BA%BA&meta=&aq=f

       “中国人”的UTF-8编码：E4 B8 AD E5 9B BD E4 BA BA(16进制，一个中文三个字节)

        呵呵，这些就先搁着了，留待以后解决。