python爬虫由浅入深13--scrapy基础实战·爬取哈理工教务在线公告

来源：互联网发布：老股民炒股软件编辑：程序博客网时间：2024/04/29 06:32

1.站点分析

打开哈理工教务在线，进入教务公告页面，将每页显示量设置成为一个较大的值，例如10000。。。

对应站点为：http://jwzx.hrbust.edu.cn/homepage/infoArticleList.do;jsessionid=0A7BC5FE8C48FB877683ABB970E4F6D6.TH?sortColumn=publicationDate&columnId=354&sortDirection=-1&pagingPage=1&pagingNumberPer=10000

而所要抓取的文章标题的源码如下

那么可知公告文章标题的xpaht为：

"//ul[@class='articleList']/li/div/a/text()"

2.打开cmd，输入 scrapy startproject jwzx

3.打开jwzx/jwzx/spiders,创建一个新文件jwzxSpider.py

编写代码：

import scrapyclass jwzxSpider(scrapy.Spider):    name = 'jwzx'    start_urls = ['http://jwzx.hrbust.edu.cn/homepage/infoArticleList.do;jsessionid=0A7BC5FE8C48FB877683ABB970E4F6D6.TH?sortColumn=publicationDate&columnId=354&sortDirection=-1&pagingPage=1&pagingNumberPer=10000']    def parse(self, response):        titles = response.xpath("//ul[@class='articleList']/li/div/a/text()").extract()        urls = response.xpath("//ul[@class='articleList']/li/div/a/@href").extract()        for i in range(len(urls)):            print(titles[i])            print(urls[i])            with open("C:/Users/kfc/Desktop/jwzx.txt",'a',encoding='utf-8') as f:                f.write(titles[i].strip()+'\n'+'http://jwzx.hrbust.edu.cn/homepage/'+urls[i]+'\n')

4.然后进入cmd，在项目的根目录下运行scrapy crawl jwzx(这个jwzx就是刚才jwzxSpider.py文件中的name字段)

5.输出接过保存至本地文件：

阅读全文

0 0