Python批量爬取某图片网站图片

在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，但是通常用鼠标右键的方式保存，但是有时候没有另存为选项，且一张一张的保存，耗时耗力。本文将以python批量爬取某图片网站的图片为例，演示如何批量保存某网站的图片。

以爬取美女图片网为例：http://www.mm131.com/

一、获取网站页面数据

def getHtml(url):    page = urllib.urlopen(url)    html = page.read()    return html

二、获取想要的图片数据

通过网站页面数据我们得知图片信息如下：

<div class="content-pic"><a href='1_2.html'><img alt="宝马小妹妩媚自拍(图1)" src="http://img1.mm131.com/pic/01/1.jpg" /></a></div>

修改代码：

def getImg(html,filename,dir):    #判断文件夹是否存在，如果不存在则新建    if not os.path.isdir(dir):        os.mkdir(dir)    reg = r'src="(.+?\.jpg)"'    imgre = re.compile(reg)    imglist = re.findall(imgre,html)    for imgurl in imglist:        urllib.urlretrieve(imgurl,dir+'/%s.jpg' % filename)        break    return imglist

因为每个页面都有很多张照片，但我们只想要第一张大图，所以只需要保存第一张图片即跳出当个页面图片获取；批量获取会有多个系列图片，故新建文件夹分系列保存图片。

三、批量保存图片数据

根据分析每张图片网页地址，得出每个系列图片仅需要在当个系列地址后加“_n.html”;

def geturl(dir):    y = 1    strA = "start"    while y>=1:         if y==1:            print dir            html = getHtml("http://www.mm131.com/qingchun/"+str(dir)+".html")        else:            html = getHtml("http://www.mm131.com/qingchun/"+str(dir)+"_"+str(y)+".html")            imglist = getImg(html,y,str(dir))#如果mglist不为空，则保存图片            if imglist:                getImg(html,y,str(dir))            else:                strA ="end"                return strA        y=y+1

四、通过shell脚本去掉空文件夹

#!/bin/bash deleteempty() {  find ${1:-.} -mindepth 1 -maxdepth 1 -type d | while read -r dir  do    if [[ -z "$(find "$dir" -mindepth 1 -type f)" ]] >/dev/null    then      echo "$dir"      rm -rf ${dir} 2>&- && echo "Empty, Deleted!" || echo "Delete error"    fi    if [ -d ${dir} ]    then      deleteempty "$dir"    fi  done}deleteempty

最后则爬取了以下图片：

以上则为批量保存图片的示例，大家可以以此为例爬取自已想要的视频网站的图片,以下地址为完整代码：
http://download.csdn.net/download/oolovexx/10011837