python图片爬虫

0x00编写思路

      爬虫说到底就是模拟人机交互，页面对开发人员来说就是代码(html代码),爬取图片就是下载图片，下载图片对应图片url，有了这个思想和操作步骤，总结成以下步骤:

1.获取html页面代码

2.提取html页面代码的图片url

3.根据图片url下载图片

0x01实现代码

#coding=utf-8import urllibimport re#获取站点html代码#string getHtml(url)#｛def getHtml(url):    page = urllib.urlopen(url)    html = page.read()    return html#｝#下载图片#bool getImg(html):#｛def getImg(html):    res_url = r"(?<=src=\").+?(?=\")"    link = re.findall(res_url, html, re.I | re.S | re.M)    x = 0;    for url in link:        check_value = url.find(".jpg") and url.find("https:");        if check_value != -1:            urllib.urlretrieve(url, 'C:\Users\Reacher\Desktop\HtmlSrc\%s.jpg' % x);            x = x + 1;    return True;#｝

0x02遇到的坑

爬下来图片数据的时候，发现一直都是一张图片，那个气啊。通过print（）大法发现都没有问题，打开目录发现图片是有下载下来，就是一直在覆盖，喵了个噜。后来检查代码发现

urllib.urlretrieve(url, 'C:\Users\Reacher\Desktop\HtmlSrc\%s.jpg')

尴尬，后来改为使用数字统计作为图片名字。

urllib.urlretrieve(url, 'C:\Users\Reacher\Desktop\HtmlSrc\%s.jpg' % x);