Python爬虫技术(一)--模拟登陆

来源:互联网 发布:知乎周刊 kindle 推送 编辑:程序博客网 时间:2024/06/06 00:38

最近对网络爬虫比较感兴趣,正巧赶上学习Python阶段,于是准备用这把加农炮来实现我的网络爬虫学习之路。本次学习就由我所在学校的教务系统作为实验对象,哇咔咔,尽情的血虐教务系统吧!(不过好像暴露我的身份了,没关系,技术为尊)。

在进行我们的爬虫实验前,我们先要了解我们浏览器是如何工作的。关于HTTP等协议的工作流程我就不推荐各种繁杂的书籍博客了,古人说的好,纸上得来终觉浅,绝知此事要躬行。我们可以对浏览器进行抓包观察流程嘛!来,翠花,上酸菜!
这次我们要用的是火狐浏览器以及firebug插件,没有插件的可以在火狐应用商店下载。一切准备就绪,就可以开干了。首先,我们在浏览器输入登陆页面地址,按F12键打开firebug。(看看我们学校的拉面女神还是很有味道的......)
接下来我们添上用户名和密码,并观察HTML文件,观察表单如何提交。这时有一个小技巧,我们可以Ctrl+F键查找post关键字定位到表单代码:

我们可以看到除了学号和密码之外,还有五项隐藏表单项。这里我可以说明,除了lt是一个随机字符串外,其他几个均为定值。我们先登陆一下看看有什么变化。

我们可以看到post信息一共有8项,这八项我们之前都在HTML文件中看到过了。再继续看一看头信息中都有什么内容呢。

这个时候我们就可以封装数据包来模拟登陆了。模拟登陆最主要的是什么呢?就是我们用代码来模拟浏览器的动作。首先我们去定义一个头信息。头信息内容就按照我们浏览器中得到的封装。这里有一个很重要的项 Referer,是反爬虫技术所设立的。该项为了证明你是从正确网页登陆,而不是随便从哪旮旯跳过来,还有User-Agent项也很重要,表明了我们的身份是一个浏览器,而不是其他玩意儿。其余的估计可以精简,有兴趣的可以试一下。
 #构造头部信息    head = {               'Accept'     : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',               'Accept-Encoding' : 'gzip,deflate',               'Accept-Language' : 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',               'Host'       : 'ids.chd.edu.cn',               'Connection' : 'keep-alive',               #反爬虫技术,这个说明我们是从这个网页进入的               'Referer'    : 'http://ids.chd.edu.cn/authserver/login?service=http://portal.chd.edu.cn/index.portal',               'Upgrade-Insecure-Requests' : '1',               #伪装浏览器               'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0'               }
接着,我们来定义一个post,post中有一个lt项,我们之前看到了,是之前的登录页面中的一个表单值,这个是个随机值,我们要想正确填写它,这就需要我们先得到这个值,我们这里先get页面内容,然后查找这个值
    posturl = "http://ids.chd.edu.cn/authserver/login?service=http://portal.chd.edu.cn/index.portal"    #保存cookies,不保存cookie很危险,登陆成功后不保存cookie服务器将不知道你已经登录    #或者说服务器不知道你是你,就导致获得页面失败    s = requests.session()    circle = s.get(posturl).text    #查找lt字符串    #长大信息门户中有几个隐藏表单项,lt表单项为一个随机字符串    #其余几个均为固定字符串    #所以我们必须先得到lt字符串    ltString = '<input type="hidden" name="lt" value=".*?"'    ltAnswer = re.findall(ltString, circle)    lt = ltAnswer[0].replace('<input type="hidden" name="lt" value="','')    #这里必须转换为utf8格式,否则为Unicode格式,导致乱码失败    lt = lt.replace('"','').encode("utf-8")
#构造Post数据    postData = {'_eventId' : "submit",                'btn1'     : "",                'dllt'     : "userNamePasswordLogin",                'execution': "e1s1",                'lt'       : lt,                'password' : "*******",                'rmShown'  : "1",                'username' : "123456789",            }
接下来,就到了见证奇迹的时刻。我们要代表浏览器向服务器发送数据了n(*≧▽≦*)n。同样,代码如下:
loginhtml = s.post(posturl,data=postData,headers=head)    url2 = 'http://portal.chd.edu.cn'    head2 = {             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0',             'Referer'   : 'http://ids.chd.edu.cn/authserver/login?service=http://portal.chd.edu.cn/index.portal'}    scorehtml = s.get(url2,headers=head2)    print scorehtml.text.decode('gbk','ignore')
这时,我们获得了登陆成功后的页面。有的服务器有IP地址限制,需要不断更换IP地址,不过Python也给了我们解决办法,关于这方面的知识大家有兴趣的可以百度,我就不给出具体信息了~~
好了,最后上完整代码,当当当当~
# -*- coding: utf-8 -*-import requestsimport sysimport urllib2import reif __name__ == "__main__":    ## 这段代码是用于解决中文报错的问题    reload(sys)    sys.setdefaultencoding("utf8")    posturl = "http://ids.chd.edu.cn/authserver/login?service=http://portal.chd.edu.cn/index.portal"    #保存cookies,不保存cookie很危险,登陆成功后不保存cookie服务器将不知道你已经登录    #或者说服务器不知道你是你,就导致获得页面失败    s = requests.session()    circle = s.get(posturl).text    #查找lt字符串    #长大信息门户中有几个隐藏表单项,lt表单项为一个随机字符串    #其余几个均为固定字符串    #所以我们必须先得到lt字符串    ltString = '<input type="hidden" name="lt" value=".*?"'    ltAnswer = re.findall(ltString, circle)    lt = ltAnswer[0].replace('<input type="hidden" name="lt" value="','')    #这里必须转为utf8格式,否则传过去的值为Unicode编码,导致乱码失败    lt = lt.replace('"','').encode("utf-8")    #构造头部信息    head = {               'Accept'     : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',               'Accept-Encoding' : 'gzip,deflate',               'Accept-Language' : 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',               'Host'       : 'ids.chd.edu.cn',               'Connection' : 'keep-alive',               #反爬虫技术,这个说明我们是从这个网页进入的               'Referer'    : 'http://ids.chd.edu.cn/authserver/login?service=http://portal.chd.edu.cn/index.portal',               'Upgrade-Insecure-Requests' : '1',               #伪装浏览器               'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0'               }    #构造Post数据    postData = {'_eventId' : "submit",                'btn1'     : "",                'dllt'     : "userNamePasswordLogin",                'execution': "e1s1",                'lt'       : lt,                'password' : "*******",                'rmShown'  : "1",                'username' : "123456789",            }    loginhtml = s.post(posturl,data=postData,headers=head)    url2 = 'http://portal.chd.edu.cn'    head2 = {             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0',             'Referer'   : 'http://ids.chd.edu.cn/authserver/login?service=http://portal.chd.edu.cn/index.portal'}    scorehtml = s.get(url2,headers=head2)    print scorehtml.text.decode('gbk','ignore')
好了,本次实验到此结束,欢迎一起学习更多知识!
0 0
原创粉丝点击