使用pycurl进行web提交

之前使用python提交数据到服务器时都是采用自带的urllib库。前一段时间登录某Cas系统时，总是莫名的失败。失败的原因好像是cookie的问题，各个页面需要共享cookie。尝试了多个给urllib设置cookie的方法，还是没能成功。

后来，试了pycurl，竟然成功了，那就使用pycurl吧。（很抱歉，我没能追查出为什么采用urllib2没有成功，也没有彻底研究出为何pycurl能够成功）

pycurl官方下载链接我没有打开，本人通过该链接下载。另外，本人使用的是python2.7。

首先,对pycurl进行简单的封装

def initCurl():'''初始化一个pycurl对象，尽管urllib2也支持 cookie 但是在登录cas系统时总是失败，并且没有搞清楚失败的原因。这里采用pycurl主要是因为pycurl设置了cookie后，可以正常登录Cas系统'''        c = pycurl.Curl()        c.setopt(pycurl.COOKIEFILE, "cookie_file_name")#把cookie保存在该文件中        c.setopt(pycurl.COOKIEJAR, "cookie_file_name")        c.setopt(pycurl.FOLLOWLOCATION, 1) #允许跟踪来源        c.setopt(pycurl.MAXREDIRS, 5)        #设置代理 如果有需要请去掉注释，并设置合适的参数        #c.setopt(pycurl.PROXY, ‘http://11.11.11.11:8080′)        #c.setopt(pycurl.PROXYUSERPWD, ‘aaa:aaa’)        return c

然后，封装出HTTP中的两个常用方法，GET和POST

def GetDate(curl, url):'''获得url指定的资源，这里采用了HTTP的GET方法'''        head = ['Accept:*/*',                'User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11']        buf = StringIO.StringIO()        curl.setopt(pycurl.WRITEFUNCTION, buf.write)        curl.setopt(pycurl.URL, url)        curl.setopt(pycurl.HTTPHEADER,  head)        curl.perform()        the_page =buf.getvalue()        buf.close()        return the_pagedef PostData(curl, url, data):'''提交数据到url，这里使用了HTTP的POST方法备注，这里提交的数据为json数据，如果需要修改数据类型，请修改head中的数据类型声明'''        head = ['Accept:*/*',                'Content-Type:application/xml',                'render:json',                'clientType:json',                'Accept-Charset:GBK,utf-8;q=0.7,*;q=0.3',                'Accept-Encoding:gzip,deflate,sdch',                'Accept-Language:zh-CN,zh;q=0.8',                'User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11']        buf = StringIO.StringIO()        curl.setopt(pycurl.WRITEFUNCTION, buf.write)        curl.setopt(pycurl.POSTFIELDS,  data)        curl.setopt(pycurl.URL, url)        curl.setopt(pycurl.HTTPHEADER,  head)        curl.perform()        the_page = buf.getvalue()        #print the_page        buf.close()        return the_page

当然，还需要一些引用

import pycurlimport StringIOimport urllib

好了，给出个例子

    c = initCurl()    html = GetDate(c, 'http://www.baidu.com')    print html

全部脚本