Python之抓取动态网页

来源：互联网发布：人体芯片知乎编辑：程序博客网时间：2024/05/22 10:50

python之抓取花瓣网图片
实现方法：
1，创建一个文件夹。
2，模拟请求网络服务。
3，匹配抓取的图片。
4，保存。

#_*_coding:utf8_*_import reimport osimport urllib,urllib2import sysreload(sys)#创建保存图片文件夹if(os.path.exists('保存图片文件的名称')==False:     os.mkdir('保存图片文件的名称')#模拟请求def img():#打开抓取的网页源代码，可以看到pin_id    pin_id=网页中的数字    while pin_id !=None        url='打开网页的网址?'+str(pin_id)        try:           i_header={"User-Agent":"打开审查元素，切换到网络，可以看到此项内容，粘贴复制到这里。"，、"Referer":'http://baidu.com/（其他浏览器）'}           zq=urllib2.Requests(url,headers=i_header           html=urllib2.urlopen(zq).read()           zqd=re.compile('"user_id":(.*?),.+?"file":{"farm":"farm1", "bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)"',re.S)           groups=re.findall(zqd,html)           print "start to catch"+str(len(groups))           for att in groups:                pin_id=att[0]                att_url = att[1] + '_fw236'                img_type = att[2]                img_url='http://img.hb.aicdn.com/'+att_url                if(urllib.urlretrieve(img_url,'保存图片的文件夹'+att_url+'.'+img_type)):                print 'download success'                else:                    print 'downing fail'           except:                print 'Error'img()

0 0