Python爬虫准备

0.工具

语言：python3.6
需要的库：requests 和 beautifulsoup4
安装库的过程：
到pip所在目录下打开cmd通道

输入 pip install requests即可

beautifulsoup也是一样的

1.HTTP简介

一般我们爬取的对象都是网页，所以要对HTTP有一些了解
http://blog.csdn.net/haoaiqian/article/details/72811224?locationNum=2&fps=1

2.requests简介

requests的主要方法及其作用：

**kwarges：控制访问参数，均是可选的
params:字典或字节序列，作为参数增加到url中
data:字典、字节或文件对象，作为Request的内容

//第1个get访问的是https://www.so.com/s?ie=utf-8&src=hao_360so_b&shb=1&hsid=4b12b97aae29706c
//第2个get相当于访问
https://www.so.com/s?ie=utf-8&src=hao_360so_b&shb=1&hsid=4b12b97aae29706c&q=4399

json:json格式的数据，作为Requset的内容
headers:字典，HTTP定制头
cookies:字典或CookieJar，Request中的cookie
auth:元组，支持HTTP认证功能
files:字典类型，传输文件
timeout:设定超时时间，秒为单位
proxies:字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects:布尔类型，允许重定向开关，默认为true
stream:布尔类型，获取内容立即下载开关，默认为true
verify:布尔类型，认证SSL证书开关，默认为true
cert:本地SSL证书路径

requests对象的常用属性：
status_code: HTTP请求的返回状态，200表示连接成功，其他都表示失败(比如404not found)
text: HTTP响应的字符串形式，和右击网页查看源代码的内容是一样的
encoding: 当你访问r.text 之时，Requests会使用其推测的文本编码。你可以找出Requests使用了什么编码，并且能够使用 r.encoding 属性来改变它(从header中猜测响应内容的编码方式)
apparent_encoding: 从内容中分析响应内容的编码方式
content: 相应内容的二进制形式(下载图片的时候可以用到)

3.beautifulsoup4简介

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
http://blog.csdn.net/eastmount/article/details/44593165