urllib和urllib2常用方法

在写爬虫时常常用法一些方法，这里我简单做一下归纳

一部分：访问服务器

1.html=urllib2.urlopen("http://www.baidu.com")打开网页，中间包含了一个request请求

2.content=html.read()将上面内容打开网页内容读取下来

3.request = urllib2.Request(url, values, headers)  发送特定请求，post请求，values和headers均是字典，但是values需要编码，而headers不需要编码

4.html=urllib2.urlopen(request)和1的内容基本相似

5.urllib.urlencode(values)使用request发送请求之前还需要将数据进行编码，注意这个是urllib而不是urllib2

6.urllib2.ProxyHandler()设置代理服务其进行访问网站，用处不用多说

importurllib2

enable_proxy =True

proxy_handler=urllib2.ProxyHandler({"http":'http://some-proxy.com:8080'})

null_proxy_handler =urllib2.ProxyHandler({})

ifenable_proxy:

    opener=urllib2.build_opener(proxy_handler)

else:

    opener=urllib2.build_opener(null_proxy_handler)

urllib2.install_opener(opener)

功能是enable_proxy为true则用代理服务器，否则设置代理服务其为空，就是本地主机访问了

二：异常处理

1.urllib2.URLError访问网页不存在

2.HTTPError是上面异常子类，报错时会显示各种状态吗，如404，401

根据经验，父类一般写在子类下面，看下面代码

importurllib2

 

req=urllib2.Request(“www.baidu.com”)

try:

    urllib2.urlopen(req)

except urllib2.HTTPError,e:

    printe.code

except urllib2.URLError,e:

    printe.reason

else:

    print"OK"

三：cookie使用

ccokie:Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据,urllib2可以保存我们的cookie数据，因为cookies一般是是保存在浏览器的，这里urllib2充当浏览器功能

1.opener,urlopen()是一个默认的opener,当需要使用cookie时则需要新建opener，可以实现模拟登陆服务器功能

2.cookielib功能非常强大CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。他们之间的关系是CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar

3.将cookieJar获取cookie功能，cookie变量值是保存在下面例子的cookie变量中的

#coding=utf-8
import urllib2
import cookielib

cookie=cookielib.CookieJar()
hander=urllib2.HTTPCookieProcessor(cookie)
opener=urllib2.build_opener(hander)
response=opener.open("http://www.baidu.com")#打开网页后才能拥有cookie值
for item in cookie:
print "Name= "+item.name
print "value= "+item.value

4.强cookie值保存在文件中，保存的cookie是经过格式化的，如果将上面的name和value写在文件里会很乱

这时候要使用FileCookieJar()子类MozillaCookieJar

#coding=utf-8
import urllib2
import cookielib
filename="C:\Users\Administrator\Desktop\wanlei\wanleicookie.txt"
cookie=cookielib.MozillaCookieJar(filename)
hander=urllib2.HTTPCookieProcessor(cookie)
opener=urllib2.build_opener(hander)
response=opener.open("http://www.baidu.com")
cookie.save(ignore_discard=True,ignore_expires=True)

save函数参数ignore_discard的意思是即使cookies将被丢弃也将它保存下来，ignore_expires的意思是如果在该文件中 cookies已经存在，则覆盖原文件写入。

5.从cookie文件夹在cookie

#coding=utf-8
import urllib2
import cookielib


cookie=cookielib.MozillaCookieJar()
cookie.load("C:\Users\Administrator\Desktop\wanlei\cookie.txt")
req=urllib2.Request("http://www.baidu.com")
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response=opener.open(req)
print response.read()

6.下面是个例子，登陆我们学校的服务器

def login():
number="2014241177"
pwd="*********"
data={"email":email,"passworld":pwd}
#将post消息化成可以让服务器编码的方式
post_data=urllib.urlencode(data)
cj=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
headers={"User-agent":"Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.1)"}
website="http://myportal.sxu.edu.cn/login.portal"
req=urllib2.Request(website,post_data,headers)
content=opener.open(req)
print content.read()
login()

http://python.jobbole.com/81359/