在win10利用Python3.6编写批量下载图片的小程序
来源:互联网 发布:淘宝cdk 编辑:程序博客网 时间:2024/05/21 06:35
import urllib.requestimport os #用于获取煎蛋网页面的函数def url_open(url): req = urllib.request.Request(url) #添加header信息 req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36') response = urllib.request.urlopen(req) html = response.read() return html#用于从煎蛋网的网页中获取页面的地址的函数def get_page(url): #将网页解码为Python能够处理的Unicode编码 html = url_open(url).decode('utf-8') a = html.find('current-comment-page')+23 b = html.find(']', a) print('总共有%s页图片'%html[a:b]) return html[a:b]#用于从煎蛋网的页面中找到图片地址的函数def find_imgs(url): html = url_open(url).decode('utf-8') img_addrs = [] #find函数若找不到要找到的字符串则会返回-1 a = html.find('img src=') while a != -1: #给定.jpg的寻找范围,注意不要的太大 b = html.find('.jpg', a, a+100) #如果顺利找到.jpg,说明找到了完整的图片的地址,则进行保存 if b != -1: #对图片进行保存时要格外注意,因为现在使用了泛解析,有的地址不会 #明确给出http的协议名,有的地址有会给出http, #这对于我们的抓取带来了一定的麻烦,因此我们要分两种情况进行讨论 #这样才不会出现地址错误的异常 if 'http' not in html[a+9:b+4]: img_addrs.append('http:'+html[a+9:b+4]) else: img_addrs.append(html[a+9:b+4]) else: #如果找不到.jpg,则应将b+9,因为下一次循环是从这一次结束开始的 #如果不进行这个操作,则b=-1,则无法进行下一次寻找,之所以加9 #是因为img src="正好是9个字节 b=a+9 #继续进行下一次寻找,只有一个参数,表示从这个点开始下一次寻找 a = html.find('img src=', b) return img_addrs#用于保存图片的函数def save_imgs(folder, img_addrs): for each in img_addrs: #[-1]表示从右边数第一个参数 filename = each.split('/')[-1] f = open(filename, 'wb') img = url_open(each) f.write(img)def download_mm(folder = '煎蛋妹子图', pages = 0): #在当前的文件夹(python.exe所在的文件)下创建新的文件夹 os.mkdir(folder) #将目录切换到该文件夹 os.chdir(folder) url = 'http://jandan.net/ooxx/' #这里的地址是一层套着一层 #页面的地址在网页中抓取 #而页面中的图片在在页面的地址下抓取 #注意层层递进的关系 page_num = int(get_page(url)) a = int(input('总用抓取多少页图片:')) pages = a for i in range(pages): #使用循环获取10页的内容 page_num -= 1 #获取每一页的地址 page_url = url + 'page-' + str(page_num) + '#comments' #在每一页中找到图片 img_addrs = find_imgs(page_url) #保存图片 save_imgs(folder, img_addrs)if __name__ == '__main__': download_mm()
效果如下图所示,有多少页图片就可以抓多少,抓取的图片保存在程序的同级目录下的文件夹《煎蛋妹子图》
阅读全文
0 0
- 在win10利用Python3.6编写批量下载图片的小程序
- 在win10上利用Python3.6制作火车票余票查询小程序
- Python3 批量下载图片
- php 批量下载图片的一个小程序
- php 批量下载图片的一个小程序
- 下载图片的小程序
- python3 批量下载网页所有图片
- Python3实现批量下载百度搜索图片
- 利用Python3.6制作带有简单的带有界面的有道翻译小程序
- 一个下载图片的小程序
- php 利用curl_multi_int 批量下载图片
- 利用dispatch_group实现图片批量下载
- node.js:利用cheerio编写的小爬虫程序
- Python3.6 在win10下安装xlwings
- Python3批量爬取网页图片(小爬虫)
- java编写的一个读取图片信息的小程序
- python3 批量缩放图片
- 在Linux下编写C++程序 简单的小程序
- 对OpenGLES2.0渲染管线的理解
- c#做端口转发程序支持正向连接和反向链接
- Unity3D中通过UNET对多个物体进行同步
- 剑指offer:(33)时间效率 :把数组排成最小的数
- 限流算法之漏桶算法、令牌桶算法
- 在win10利用Python3.6编写批量下载图片的小程序
- Spring注解的作用
- Netty系列之Netty线程模型
- TCP协议内部知识介绍
- 省市二级联动
- [2017/07/11]随手记setvbuf函数
- java web项目 maven springboot 框架 以jar方式如何部署到服务器上
- Linux SPI
- java文件路径分隔符的问题