单线程爬虫

单线程爬虫

Requests：HTTP for Humans

  完美替代Python的urllib2模块

  更多的自动化

  更友好的用户体验

  更完善的功能

第三方库安装技巧:

  少用easy_install因为只能安装不能卸载

  多用pip方式安装

  撞墙了，请戳  http://www.lfd.uci.edu/~gohlke/pythonlibs/

第一个网页爬虫

  Requests获取网页源代码

  --直接获取源代码

  --修改http头获取源代码

Requests与正则表达式

  使用Requests获取网页源代码，再使用正则表达式匹配出感兴趣的内容，这是单线程爬虫的基本原理。

#-*-coding:utf8-*-import requestsimport reimport sysreload(sys)sys.setdefaultencoding("gb18030")type=sys.getfilesystemencoding()# headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebkit/537.36(KHTML,like Gecko)'}headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}# html=requests.get('http://jp.tingroom.com/yuedu/yd300p')html=requests.get('http://jp.tingroom.com/yuedu/yd300p',headers=headers)html.encoding='utf-8'# print html.texttitle=re.findall('color:#666666;">(.*?)</span>',html.text,re.S)for each in title:    print eachchinese=re.findall('color: #039;(.*?)</a>',html.text,re.S)for each in chinese:    print each