Python3爬虫下载pdf（一）

最近在学习python的爬虫，并且玩的不亦说乎，因此写个博客，记录并分享一下。

需下载以下模块

• bs4 模块
• requests 模块

一、源码

"""功能：下载指定url内的所有的pdf语法：将含有pdf的url放到脚本后面执行就可以了"""from bs4 import BeautifulSoup as Soupimport requestsfrom sys import argvtry:    ##用于获取命令行参数，argv[0]是脚本的名称    root_url = argv[1]except:    print("please input url behind the script!!")    exit()##获得含有所有a标签的一个列表def getTagA(root_url):    res = requests.get(root_url)    soup = Soup(res.text,'html.parser')    temp = soup.find_all("a")    return temp##从所有a标签中找到含有pdf的，然后下载def downPdf(root_url,list_a):    number = 0    ##如果网站url是以类似xx/index.php格式结尾，那么只取最后一个/之前的部分    if not root_url.endswith("/"):             index = root_url.rfind("/")        root_url = root_url[:index+1]    for name in list_a:        name02 = name.get("href")        ##筛选出以.pdf结尾的a标签        if name02.lower().endswith(".pdf"):            pdf_name = name.string             number += 1            print("Download the %d pdf immdiately!!!"%number,end='  ')            print(pdf_name+'downing.....')              ##因为要下载的是二进制流文件，将strem参数置为True                 response = requests.get(root_url+pdf_name,stream="TRUE")            with open(pdf_name,'wb') as file:                for data in response.iter_content():                    file.write(data)if __name__ == "__main__":    downPdf(root_url,getTagA(root_url))

二、亮点

1. 利用str.rfind(“S”) 函数来获得 S 在str 从右边数第一次出现的index
2. 使用str.lower().endswith(“S”) 函数来判断str 是否以S/s 结尾