用Python写的图片蜘蛛人

来源：互联网发布：网络舆情管理工作总结编辑：程序博客网时间：2024/04/28 01:50

转自：http://blog.csdn.net/jgood/article/details/5471626

原文地址：http://www.darkbull.net/python/bd/%E5%86%99%E4%B8%AA%E5%9B%BE%E7%89%87%E8%9C%98%E8%9B%9B%E7%8E%A9%E7%8E%A9/

写了个图片蜘蛛人玩玩，抓了几个网页试试，感觉不不错。核心的代码可能20行也不到，简洁明了，嘻嘻。废话少说，翠花，上代码~~

[python] view plaincopy
#coding=utf-8  
  
import os  
import sys  
import re  
import urllib  
  
URL_REG = re.compile(r'(http://[^///]+)', re.I)  
IMG_REG = re.compile(r'<img[^>]*?src=([/'"])([^/1]*?)/1', re.I)  
  
def download(dir, url):  
    '''''下载网页中的图片 
     
    @dir 保存到本地的路径 
    @url 网页url 
    '''  
    global URL_REG, IMG_REG  
      
    m = URL_REG.match(url)  
    if not m:   
        print '[Error]Invalid URL: ', url  
        return  
    host = m.group(1)  
      
    if not os.path.isdir(dir):  
        os.mkdir(dir)  
      
    # 获取html,提取图片url  
    html = urllib.urlopen(url).read()  
    imgs = [item[1].lower() for item in IMG_REG.findall(html)]  
    f = lambda path: path if path.startswith('http://') else /  
                host + path if path.startswith('/') else url + '/' + path  
    imgs = list(set(map(f, imgs)))  
    print '[Info]Find %d images.' % len(imgs)  
      
    # 下载图片  
    for idx, img in enumerate(imgs):  
        name = img.split('/')[-1]  
        path = os.path.join(dir, name)  
        try:   
            print '[Info]Download(%d): %s'% (idx + 1, img)  
            urllib.urlretrieve(img, path)  
        except:   
            print "[Error]Cant't download(%d): %s" % (idx + 1, img)  
      
def main():  
    if len(sys.argv) != 3:  
        print 'Invalid argument count.'  
        return  
    dir, url = sys.argv[1:]  
    download(dir, url)  
  
if __name__ == '__main__':  
    # download('D://Imgs', 'http://www.163.com')  
    main()  

上面图片链接的正则有点问题,可以用下面的代替：

IMG_REG = re.compile(r'<\s*img\s+([^http]*)((http):(\/\/|\\\\)(.[^\[]*)\.(gif|jpg|jpeg|bmp|png|ico))([^>]*)>', re.I)