中国大学排名定向爬虫(实例1)

来源：互联网发布：wow.js是用来做什么的编辑：程序博客网时间：2024/04/30 08:55

中国大学排名定向爬虫：

（1）爬取网址：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html

（2）程序的结构设计：

步骤1：从网络上获取大学排名网页内容 getHTMLText()

def getHTMLText(url):    try:        r = requests.get(url, timeout=30)        r.raise_for_status()        r.encoding = r.apparent_encoding        return r.text    except:        return ""

步骤2：提取网页内容中信息到合适的数据结构 fillUnivList()

def fillUnivList(ulist, html):    soup = BeautifulSoup(html, "html.parser")    for tr in soup.find('tbody').children:        if isinstance(tr, bs4.element.Tag):  #判断是否是标签类型，如果不是过滤掉            tds = tr('td')            ulist.append([tds[0].string, tds[1].string, tds[3].string])

步骤3：利用数据结构展示并输出结果 printUnivList()

def printUnivList(ulist, num):    # 格式化输出    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"

   #中英文混合输出解决方法    print(tplt.format("排名", "学校名称", "总分", chr(12288)))    for i in range(num):        u = ulist[i]        print(tplt.format(u[0], u[1], u[2], chr(12288)))

（3）整体代码：

# CrawUnivRankingB.pyimport requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url):    try:        r = requests.get(url, timeout=30)        r.raise_for_status()        r.encoding = r.apparent_encoding        return r.text    except:        return ""def fillUnivList(ulist, html):    soup = BeautifulSoup(html, "html.parser")    for tr in soup.find('tbody').children:        if isinstance(tr, bs4.element.Tag):            tds = tr('td')            ulist.append([tds[0].string, tds[1].string, tds[3].string])def printUnivList(ulist, num):    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"    print(tplt.format("排名", "学校名称", "总分", chr(12288)))    for i in range(num):        u = ulist[i]        print(tplt.format(u[0], u[1], u[2], chr(12288)))def main():    uinfo = []    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'    html = getHTMLText(url)    fillUnivList(uinfo, html)    printUnivList(uinfo, 20)  # 20 univsmain()

（4）爬取结果：

排名　　　学校名称　　　总分

1 　　　清华大学　　　 95.9

2 　　　北京大学　　　 82.6

3 　　　浙江大学　　　 80

4 　　上海交通大学　　 78.7

5 　　　复旦大学　　　 70.9

6 　　　南京大学　　　 66.1

7 　中国科学技术大学　 65.5

8 　哈尔滨工业大学　　 63.5

9 　　华中科技大学　　 62.9

10 　　　中山大学　　　 62.1

11 　　　东南大学　　　 61.4

12 　　　天津大学　　　 60.8

13 　　　同济大学　　　 59.8

14 　北京航空航天大学　 59.6

15 　　　四川大学　　　 59.4

16 　　　武汉大学　　　 59.1

17 　　西安交通大学　　 58.9

18 　　　南开大学　　　 58.3

19 　　大连理工大学　　 56.9

20 　　　山东大学　　　 56.3

本文参考：中国大学mooc 北京理工大学 Python网络爬虫与信息提取课程

链接：http://www.icourse163.org/learn/BIT-1001870001?tid=1001962001#/learn/content?type=detail&id=1002703035&cid=1003101004&replay=true

阅读全文

1 0