如何入门爬虫

来源:互联网 发布:Ai人工智能武汉 编辑:程序博客网 时间:2024/06/12 18:58

本人爬虫渣渣一枚,单纯列举一下自己入门的经历。

1。本人目前大三狗,大二由学长带入爬虫,当然学长也只是告诉了爬虫是啥,然后告诉我两个类库,

BS4

Requests

这两个库是真的很棒,非常适合新手入门

2。之后在爬取某勾的数据时,接触到了动态网页的概念,于是又去学习了

selenium+phantomjs

动态网页爬虫利器

3。苦于爬虫效率的问题,直接上手学习了协程

gevent

4。打一波广告,适合新手入门的一个爬虫框架。框架十分简单,大佬勿喷。

传送门1

基于gevent爬虫框架

原创粉丝点击