Python3简单爬虫学习

请注意，本文介绍如何用python3来进行爬虫。下面介绍需要用到的模块和工具。

模块：

相比于python2，python3有些模块进行了改动，以下是会用到的模块的改动说明：

• Python2的urllib2模块合并到了urllib
• urlopen的使用包的位置为urllib.request.urlopen
• urlencode使用包位置为urllib.parse.urlencode
• cookielib变更为http.cookiejar

网站分析工具：

分析目标web的登录页面，主要获取登录时向服务器传递的格式及参数名

• 比如chrome浏览器自带的开发者工具(F12)
• Fiddler抓包工具（这里主要使用该工具）
• FireFox的FireBug等

1. 一个简单的抓取网页信息的程序

import urllib.requestimport urllib.errorurl = 'http://www.baidu.com'req = urllib.request.Request(url) # 返回一个request的实例try:response = urllib.request.urlopen(req) html = response.read()  # 或者直接将html写入txt文件，将txt中的内容拷入html在线运行工具，运行后看页面效果fout = open('html.html', 'wb') # 由于网页抓取下来的是bytes格式的数据，所以写入文件时需要以二进制的方式写入try:fout.write(html)print('Done')except Exception as e:print('Error')finally:fout.flush()fout.close()# 关闭文件except urllib.Error.URLError as e:print(e.code,':',e.reason)

程序运行成功后，打开html.html文件，会得到和百度主页一样的网页。说明爬取百度主页成功。

那如果碰到需要输入用户名、密码和验证码后才能登陆的情况，如何解决呢？下面继续分析。

2. cookie模拟登陆

• 保存cookie

import urllib.requestimport urllib.parseimport urllib.errorimport http.cookiejarfilename = 'cookie.txt'  # 用于保存cookieurl = 'http://www.baidu.com'cookie = http.cookiejar.MozillaCookieJar(filename)  # 声明MozillaCookieJar对象实例来保存cookiehandler = urllib.request.HTTPCookieProcessor(cookie)  # 创建cookie处理器opener = urllib.request.build_opener(handler)  # 通过handler来创建openerrequest = urllib.request.Request(url)  # Request对象实例化try:    response = opener.open(request)  # urlopen是一个封装好的openerDirector实例    page = response.read()  # 读取抓取的网页内容    file_out = open('html.html', 'wb')    try:        file_out.write(page)        print('Done!')    except Exception as e:        print('Fail to write.')    finally:        file_out.flush()        file_out.close()except urllib.error.URLError as e:  # 抛出URL异常    print(e.reason)cookie.save(ignore_discard=True, ignore_expires=True)for item in cookie:    print('Name = ' + item.name)    print('Value = ' + item.value)

程序的输出结果应该为
Name = BAIDUID
Value = D3B95998C4E30EABBE5A23BA140F7FE3:FG=1
Name = BIDUPSID
Value = D3B95998C4E30EABBE5A23BA140F7FE3
Name = H_PS_PSSID
Value = 1421_21106_17001
Name = PSTM
Value = 1502343810
Name = BDSVRTM
Value = 0
Name = BD_HOME
Value = 0

打开html.html，如果是百度主页，说明爬取程序运行成功。

• 使用已有的cookie登陆网站

以【https://www.caifupad.com】为例，首先随便注册一个账号。通过Fiddler抓取登陆账号时的web信息。

如下图Fiddler的截屏所示，可以获得如下信息：

1. 真实的登陆地址是 https://www.caifupad.com/user/login

2. Body中的信息就是postdata，包括loginName和loginPass

3. 登陆成功后的网站响应消息如XML界面所示

["{\"id\":\"unlogin\",\"isSuccess\":true,\"info\":\"\"}","{\"id\":\"pwlogin\",\"isSuccess\":true,\"info\":\"密码格式不正确\"}","{\"pastUrl\":null,\"isSuccess\":true,\"info\":\"登陆成功\"}"]

下面就是具体的代码

import urllib.requestimport urllib.parseimport urllib.errorimport http.cookiejartest_url = 'https://www.caifupad.com/person/account/overview'   # 验证网站cookie = http.cookiejar.MozillaCookieJar('cookie.txt')cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)handler = urllib.request.HTTPCookieProcessor(cookie)opener = urllib.request.build_opener(handler)request = urllib.request.Request(test_url)try:    response = opener.open(request)    page = response.read()    f_out = open('html.html', 'wb')    f_out.write(page)    f_out.close()except urllib.error.URLError as e:    print(e.reason)for item in cookie:    print('Name = ' + item.name)    print('Value = ' + item.value)

这里的cookie.txt是手动登陆是保存下来的文件。通过自己使用已有的cookie，就省去了再输用户名和密码的工作。
最后在看一下得到的html.html，效果应该如下所示

可以看到用户名zai123，说明通过使用cookie登陆网站这种方法成功了。

至于为什么网页界面和原网页不同，主要原因是原网页的图片是引用的本地路径。