【百度爬虫系列 I】多关键字图片搜索结果汇总

源码和结果：https://github.com/luyishisi/Anti-Anti-Spider/tree/master/11.%E7%99%BE%E5%BA%A6%E7%88%AC%E8%99%AB%E7%B3%BB%E5%88%97
相关文章

【百度系列 I】多关键字图片搜索结果汇总
【百度系列 II】关键字搜索url结果汇总(给定关键字和页数)
【百度系列 III】深度搜索(给定网址采集全部url)

需求

批量自动化采集百度图片。
1. 模拟百度图片输入关键字，获取结果。
2. 将搜索的结果图片（先保存600张）保存在文件夹中，以下面格式“关键字_n.jpg”(n取1,2,3,4，…..)

思路

方法一

1. 通过requests请求url。
2. 解析获取的html文本，获取图片url集合。
   做着的时候发现果然百度的图片不是辣么简单的。（貌似有点复杂）
   图一
   

方法二

1. 利用强大的Chrome浏览器的开发者工具(F12)分析百度图片时如何处理请求的。
   图二
   

2. 分析同一关键字的不同请求的url变化（copy link adress）。
   图三
   
   从上面我们可以大致的猜想一下：除去相同的字段，我们可以找到四个不同的字段。
   大概是：

   • queryWord = “xx” : 输入的关键词
   • pn=30, pn=60 ： 在获取结果中我们可以发现，要查看更多的图片，需要下拉，很有可能就是通过pn控制的。
   • rn=30 : 两次都没有改变，大概是每页30张照片。
   • &gsm=3c&1510487919192=：暂时不太清楚，而且发生变化了，先去掉。

有了以上的猜测如何获取根据图片请求的url获取图片的url集合，先分析图一4中Preview中的参数（Network中的Preview是发送请求后，从服务器端返回web前端发送一段json数据，有点乱码，可以复制到https://www.bejson.com/这里，点击校验，会自动回复json格式），如下所示：

下面是从这段json中获取图片的url，我们首先发现”thumbURL”和”middleURL”（一样的）,复制后面的url到浏览器，果然显示出来了照片，说明我们以上的猜测是正确的。

编码

1. 先获取600张图片的url放在集合中（避免重复）
2. 将集合中的url存入urls.txt中。
3. 逐行读取urls.txt，通过requests发送请求将返回的图片通过二进制方法存入文件夹中。

# -*- coding:utf-8 -*-import requests,json#os    : ubuntu16.04#python: python2"""获取图片的所有urls,存入set集合中去重，存在urls.txt中"""def get_urls(key,sum):    #请求头    url = "https://image.baidu.com/search/index"    headers = {        'cookie': "td_cookie=2373937907; BDqhfp=%E6%B5%B7%E8%BE%B9%26%260-10-1undefined%26%260%26%261; BAIDUID=E26F8B2E16E037DF58FED1FDEAD8A636:FG=1; BIDUPSID=E26F8B2E16E037DF58FED1FDEAD8A636; PSTM=1506000312; pgv_pvi=229598208; td_cookie=2463294905; BDRCVFR[X_XKQks0S63]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; firstShowTip=1; indexPageSugList=%5B%22%E6%B5%B7%E8%BE%B9%22%2C%22%E6%B5%B7%E5%B2%B8%22%5D; cleanHistoryStatus=0; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; userFrom=null",        'accept-encoding': "gzip, deflate, br",        'accept-language': "zh-CN,zh;q=0.8",        'user-agent': "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36",        'accept': "text/plain, */*; q=0.01",        'referer': "https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=index&fr=&hs=0&xthttps=111111&sf=1&fmq=&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E6%B5%B7%E8%BE%B9&oq=%E6%B5%B7%E8%BE%B9&rsp=-1",        'x-requested-with': "XMLHttpRequest",        'connection': "keep-alive",        'cache-control': "no-cache",        'postman-token': "c1717c49-7d6f-b452-0005-026e525e7b43"        }    #pn控制页数    pn = 0    n = 0    pages = 1    flag = True    s = set()    #循环获取url    for pn in range(0,21):        print "pn=" + str(pn*30)        url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=" + key + "&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=" + key + "&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&pn=" + str(pn*30) + "&rn=30"        #url = "http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&queryWord={key}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={key}&face=0&istype=2nc=1&pn={pn}&rn=60"        #url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord="+key+"&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=%E6%B5%B7%E8%BE%B9&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&pn="+str(pn*30)+"&rn=30"        #print url        r = requests.get(url,headers=headers).text.encode("utf-8")        try:            dictinfo = json.loads(r)            #每页30张            for i in range(0,30):                #print i                if n == sum:                    flag = False                else:                    temp = dictinfo["data"][i]["thumbURL"]                    n = n + 1                    s.add(str(temp)+"\n")        except:            print "请求发送失败重试"    print len(s)    f = open("urls.txt","w")    for url in s:        f.write(url)    f.close()    print "get_urls 完成"#将图片写在pic文件夹def write_pics(SavePath,sum):    f = open("./urls.txt","r")    m = 1    for url in f:        Path = SavePath + str(m) +".jpg"        f1 = open(Path,"wb")        r = requests.get(url)        f1.write(r.content)        #print m        m = m + 1    f1.close()    print "write_pics 完成"def get_class(name):    name = name.split("|")    print len(name)    for index in range(0,len(name)):        print "mingzi=" + name[index]        SavePath = "./snow/"+ str(name[index]) + "_"        print SavePath        get_urls(name[index], sum)        write_pics(SavePath,sum)        print "a"if __name__=="__main__":    sea = "海边|海岸|沿海"    tree = "山林|树林|森林"    road = "公路|道路|小路|马路"    snow ="雪景|雪地|冬天景色"    town ="小镇|小镇风光|小镇建筑风景"    sum = 600    get_class(snow)

运行结果