利用python3.4爬取学校教务系统，并封装成api供app调用（二）之不带验证码模拟登录

利用python3.4爬取学校教务系统，并封装成api供app调用（二）之不带验证码模拟登录

---

做完了之前对学校新闻的页的爬取，对于python3.x的urllib库有了一定的了解，于是就开始了学校教务系统的爬取，这里就牵涉到了模拟登录这一块儿。
模拟登录当然是模仿浏览器登录网页的过程了，分为带验证码的和不带验证码的模拟登录，万事还是先从简单的入手，今天就讲讲如何进行不要验证码的模拟登录。
我们学校有两个地方都可以进入教务系统，一是通过直接教务系统的官网直接登录教务系统（需要验证码），二是通过学校的信息门户登录进入（不需要验证码），这里我就讲一讲我是如何通过学校的信息门户进入学校的教务系统。
写代码之前，我们需要弄清楚这个过程，平常通过浏览器登录的时候，好像我们只需要填写用户名和密码，然后点击登录就行了。但是呢具体浏览器是怎么执行这个登录过程的我们并不知道，所以呢要想弄明白这个登录过程是怎样的，我们就需要对整个登录过程进行抓包分析。抓包的工具有很多，可以用chrome的开发者工具（F12），也可以用其他的工具，这里呢，我用的Fiddler4。这类工具的用法我就不说了，网上教程一大堆。
废话说了一堆，下面咱们看具体的操作过程。

这里有一个post请求的url，那么我们模拟登录的url应该就是他了，那么我们的用户名和密码是如何提交的呢？看下图，原来我们用浏览器登录的时候向此url，post这么一串表单，这正是我们需要的数据，

这里有一个name,和value的表单，其中我那两个黑黑的地方便是我的用户名和密码了，name是我们后面做 模拟登录要post数据的key值。
好有了这些就可以模拟登录了，具体看代码。

# -*- coding: utf-8 -*-#!usr/bin/pythonfrom urllib import request,parseimport http.cookiejarimport urllibimport re#模拟登录测试模块print('loging info my ssfw')cookie=http.cookiejar.CookieJar()#储存获取到的cookieopener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))loging_data=parse.urlencode([    ('IDToken1',"学号"),    ('IDToken2',"密码")])#POST用到的数据#请求头headers = {    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '+    '(KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36'}#构造requestreq=request.Request(url='postUrl',                    data=loging_data.encode(encoding='utf-8'),                    headers=headers)try:    result=opener.open(req)#访问请求的链接    # print(result.read().decode('utf-8'))except urllib.error.HTTPError:    print("connect failed")try:    result=opener.open('我校教务系统url')#进入教务系统    print(result.read().decode('utf-8'))except urllib.error.HTTPError:    print("error")

上面的代码可以看到，我们先用cookieJar这个库中的类方法，将获取到的cookie缓存至内存中，然后构建一个opener传入获取的cookie，然后呢构建了一个我们要post的数据表单格式是list+set的形式，post的数据不能直接传这里要进行一次转码操作，使用的是urllib.parse这个方法，然后呢就是构造request请求头，由于学校并没有反扒机制，headers随便处理就好了。然后再用构建好的opener下的open方法请求我们构建好的request就能实现模拟登录了。最终结果如下图：

看到了我自个儿的名字，表示模拟登录成功。
整个大致的过程就是这样了：
1.抓包分析post的表单信息，模拟登录url
2.使用标准库下的cookieJar库下的相应类方法，缓存cookie
3.构建带cookie请求的opener
4.构建request请求，并且使用request.Request()方法传入url,postData,heasers
5.opener.open()方法入构建的request请求
6.打印获取结果判断是否登录成功
不带验证码的模拟登录，具体就这样了，当然有些情况处理可能复杂一点，对于header的要求要高，cookie也要进一步的处理，但是大体的过程都是类似的。
文字写出来，表达的不是很好，若有错误，欢迎指出，讨论。