python 爬虫介绍

十八、爬虫介绍

爬虫介绍：

项目前几乎搜索引擎都有爬虫，蜘蛛

公司没有数据可以通过爬虫获取

公司有竞争对手，可以通过爬竞争对手的网站，了解他们的动向

数据学习的必备技巧

 

爬虫网站：

中国新闻网：(结构简单，适用于练手)

http://www.chinanews.com/

百思不得:(带有分页)

http://www.budejie.com/

豆瓣网：

https://www.douban.com/

 

工具包介绍:

1、request包:

Requests: HTTP for Humans  (适合人类的http请求)

http://www.python-requests.org/   (官网，有中文文档)

 

安装：

pip install requests

 

2、lxml包：(没有中文，linux安装费劲，windows有.exe安装)

http://lxml.de     (官网)

https://pypi.python.org/simple/lxml   (下载地址)

 

 

request包的使用：

x = get(url,headers,...) (模拟header可以破解反爬虫)

x.text  (对网页编码自动解码，但也有的不能)

x.content (获取趴下来的原始的文档)