python爬虫慕课网实例（二）

三网络图片的爬取和存储

还是使用requests库进行爬取，此时的URL变成了图片的网络地址

path为图片爬取下来后存储的地址

r.content返回的是文件的二进制形式

执行完代码之后便能在D盘找到名为123.jpg的文件

四百度关键词提交

百度搜索时关键词格式http://www.baidu.com/s?wd=keyword

爬取是只要把keyword设置成自己想要查找的东西即可

import requests

url='http://www.baidu.com/s?'

kv={'wd':'python'}#搜索词为python

r=requests.get(url,params=kv)#将wd=python插入到URL后面

查看此时的URL

可以访问

这个例子主要是用到params

>>> url_params = {'key':'value'} #字典传递参数，如果值为None的键不会被添加到url中
>>> r = requests.get('your url',params = url_params)
>>> print(r.url)
　　your url?key=value

文中用的params 也可以使用'wd='+'python'来连接字符是URL完整