Python轻量级爬虫教程-网页下载器

爬虫简介：

抓取自己想要的的类别网页上的数据。

爬虫架构:

爬虫调度端

爬虫:URL管理器, 网页下载器，网页解析器

数据；

爬虫运行流程；

URL管理器: 管理待抓取URL集合和已抓取URL集合；

防止重复抓取，防止循环抓取；

URL管理器3种实现方式：

Python内存中set();

关系数据库中

缓存数据库中

网页下载器：

将URL对应网页HTML下载到本地

urllib2, requests;

urllib2: urllib2.urlpen(url)

urllib2下载网页方法1：最简单的方法

import urllib2

#直接请求

response = urllib2.urlopen('http://www.baidu.com')

#获取状态码，如果是200表示成功

print response.getcode()

#读取内容

cont = response.read()

urllib2 下载网页方法2: 添加data ,http header

import urllib2

request = urllib2.Request(url)

#添加数据

request.add_data('a', '1')

#添加http的header

request.add_header('User-Agent', 'Mozilla/5.0')

#发送请求获取结果

response = urllib2.urlopen(request)

urllib2下载网页方法3: 添加特殊情景的处理器

import urllib2, cookielib

#创建cookie容器

cj = cookielib.CookieJar()

#创建1个opener

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

#给urllib2安装opener

urllib2.install_opener(opener)

#使用带有cookie的urllib2访问网页

response = urllib2.urlopen("http://www.baidu.com/")

print response.getcode()

#读取内容

cont = response.read()

#coding:utf8import urllib2import cookieliburl = "http://www.baidu.com/"print '第一种方法'response1 = urllib2.urlopen(url)print response1.getcode()print len(response1.read())print '第二种方法'request = urllib2.Request(url)request.add_header("user-agent", "Mozilla/5.0")response2 = urllib2.urlopen(request)print response2.getcode()print len(response2.read())print '第三种方法'cj = cookielib.CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))urllib2.install_opener(opener)response3 = urllib2.urlopen(url)print response3.getcode()print cjprint response3.read()