Python爬虫获取图片并下载保存至本地
来源:互联网 发布:拳皇2002um出招优化 编辑:程序博客网 时间:2024/04/27 23:04
1、抓取煎蛋网上的图片。
2、代码如下:
import urllib.requestimport os#to open the urldef url_open(url): req=urllib.request.Request(url) req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0') response=urllib.request.urlopen(url) html=response.read() return html#to get the num of page like 1,2,3,4...def get_page(url): html=url_open(url).decode('utf-8') a=html.find('current-comment-page')+23 #add the 23 offset th arrive at the [2356] b=html.find(']',a) #print(html[a:b]) return html[a:b]#find the url of imgs and return the url of arrdef find_imgs(url): html=url_open(url).decode('utf-8') img_addrs=[] a=html.find('img src=') while a!=-1: b=html.find('.jpg',a,a+255) # if false : return -1 if b!=-1: img_addrs.append('http:'+html[a+9:b+4]) else: b=a+9 a=html.find('img src=',b) #print(img_addrs) return img_addrs #print('http:'+each) #save the imgs def save_imgs(folder,img_addrs): for each in img_addrs: filename=each.split('/')[-1] #get the last member of arr,that is the name with open(filename,'wb') as f: img = url_open(each) f.write(img) def download_mm(folder='mm',pages=10): os.mkdir(folder) os.chdir(folder) url='http://jandan.net/ooxx/' page_num=int(get_page(url)) for i in range(pages): page_num -= i page_url = url + 'page-' + str(page_num) + '#comments' img_addrs=find_imgs(page_url) save_imgs(folder,img_addrs) if __name__ == '__main__': download_mm()
0 0
- Python爬虫获取图片并下载保存至本地
- python爬虫 分页获取图片并下载
- php获取远程图片并下载保存到本地
- php获取远程图片并下载保存到本地
- [Python]使用Scrapy爬虫框架简单爬取图片并保存本地
- python爬虫简单的抓页面图片并保存到本地
- python爬虫-下载图片到本地目录
- php获取html上传图片并保存至本地服务器
- php获取远程图片并保存本地
- 获取网络图片,并保存到本地
- Python简单知乎爬虫--爬取页面的图片并下载到本地
- Python简单知乎爬虫--爬取页面的图片并下载到本地
- 爬虫03 爬取堆糖图片并保存到本地
- android 图片获取策略,下载并保存至指定文件夹
- Python 实现简单的爬虫功能并保存到本地
- 获取本地图片或拍照并保存到本地
- python如何获取网络上的图片并将其保存在本地
- Python 爬虫抓取美女图片保存到本地
- 博弈论
- cigarettes
- 2017年2月18日小总结
- JSP综合项目实战 实现商品的动态显示,查看商品信息,保留浏览记录
- js实现3秒后自动跳转
- Python爬虫获取图片并下载保存至本地
- JS网页触发事件
- 06-图2 Saving James Bond - Easy Version (25分)
- JSP传参的九种方式(主要用前三种)
- html标签详解
- 1033. To Fill or Not to Fill
- 1036. Boys vs Girls (25)
- JSP传参的三种方式
- 拷贝构造函数的 深/浅 复制