爬虫入门

headers的设置

urllib2.Request的函数原型是
class urllib2.Request(url[, data][, headers][, originreqhost][, unverifiable])
注意一点，如果参数时只是使用了headers但是没有使用data，在传入参数时一定要说明，如下面的例子，说明传入的参数时headers
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36'}
request = urllib2.Request(url, headers = headers)
response = urllib2.urlopen(request)