20170717【笔记】第三讲：爬虫基础

写在前面：此笔记不全，只记了我现在不太会的东西

使用requests包抓取网页信息
注意：需要包装headers，否则服务器会识别到你是机器人。

ua = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'headers = {'user-agent': ua}

以上ua是怎样拿到的呢？

调试工具：

• postman（可以先调试好，再写代码）
• fiddler
• charles

get函数带参数时，把参数当成dict传入

.json直接得到json格式（dict）(后台看到的都是字符串，我们看到的dict），免得用.text转换成dict

下载图片：

r = requests.get(url)img = Image.open(BytesIO(r.content))img.save('test.jpg')

根据后台的需要，选择用get还是post，一般用get的多。

超时处理？

编码问题(编码出问题时，再用以下代码进行解码编码）

b_text = text.decode('utf-8') # str -> bytess_text = b_text.encode('utf-8') # bytes -> str

命令行重定向：把sample.py的print输出重定向存入文件

$ python sample.py > a.txt

后续要讲的：

• 登陆问题
• cookies参数可以替换字符串，免得需要转换编码
• selenium web解决js动态网页的问题
• 多线程、分布式提高效率