python3爬虫初探(五)之从爬取到保存

来源:互联网 发布:淘宝投诉人工客服 编辑:程序博客网 时间:2024/06/05 17:27

想一想,还是写个完整的代码,总结一下前面学的吧。

复制代码
import requestsimport re# 获取网页源码url = 'http://www.ivsky.com/tupian/xiaohuangren_t21343/'data = requests.get(url).text#正则表达式三部曲#<img src="http://img.ivsky.com/img/tupian/t/201411/01/xiaohuangren-009.jpg" width="135" height="135" alt="卑鄙的我小黄人图片">regex = r'<img src="(.*?.jpg)"'#匹配网址pa = re.compile(regex)#转为pattern对象ma = re.findall(pa, data)#findall 方法找到所有的符合pa的对象,添加到一个列表中并返回#print(ma)#图片网址列表print('本次爬取共获取图片'+str(len(ma))+'')#列表长度,即找到图片个数i = 0#这里的i, 只是为了给图片命名。。。for imgurl in ma:    i += 1    print('正在爬取'+imgurl)    imgdata = requests.get(imgurl).content    with open(str(i)+'.jpg', 'wb') as f:        f.write(imgdata)print('爬取完毕!')
复制代码

  放几张程序输出的图。