python3爬虫入门

你需要这些：Python3.x爬虫学习资料整理

路人甲

9 个月前

之前整理过很多的有关于Python的学习资料，都是有关于Python2.x的资料。我们都知道Python3.x已经存在很长一段时间了：3.x改进了的标准库模块、安全性以及bug修复。随着3.x不断的更新以及不断壮大，很多人逐渐的从2.x转向3.x。

上一篇文章已经整理介绍了最基本的Python3.x的学习资料，按照上一篇最后挖下的坑，今天将进行整理一些Python3.x关于爬虫方面的学习资料。

• 如果你还在使用Python2.x你可以仔细阅读一下这篇文章
  Python3.x基础学习资料整理
  
• 如果你想学习Python2.x大环境下的Python爬虫，推荐这篇文章
  如何学习Python爬虫[入门篇]？ - 知乎专栏

（一）Python3爬虫入门（来自博客：零基础自学用Python 3开发网络爬虫）

很适合什么都不会的小白入门，如果你之前做过请跳过此教程

用Python 3开发网络爬虫(一)
Python 3开发网络爬虫(二): 用到的数据结构简介以及爬虫Ver1.0 alpha
Python 3开发网络爬虫(三): 伪装浏览器君
Python 3开发网络爬虫(四): 登录
Python 3开发网络爬虫(五): 使用第三方模块快速抓取与解析

（二）熟练的掌握Requests库（用Python3开发爬虫 · GitBook）

如果你还在使用urllib，赶紧快来使用requests库吧！

3.2 使用requests · 利用Python3开发爬虫
3.2.1 安装requests
3.2.2 requests的基本使用
3.2.3 requests的高级使用
3.2.4 requests的Request对象使用

（三）以上的教程比较零散，如果你想要系统的学习一下Python3爬虫，建议阅读一下这本书

建议买本书，当然如果你想看电子版，这里也有：

Python网络数据采集.pdf - 下载频道 - CSDN.NET

上面的下载可能需要3个积分，如果你没有积分，可以关注专栏的公众号（一个程序员的日常）回复关键词：“采集” ，获得一个免费的高清pdf版本。更多编程资源，关注此公众号。

这本书以Python3为基础，系统的讲解了Python3爬虫最基本的方案。

第一部分　创建爬虫 阅读第 1 章　初见网络爬虫 阅读第 2 章　复杂 HTML 解析第 3 章　开始采集第 4 章 使用 API第 5 章　存储数据第 6 章　读取文档第二部分　高级数据采集第 7 章　数据清洗第 8 章　自然语言处理第 9 章　穿越网页表单与登录窗口进行采集第 10 章　采集 JavaScript第 11 章　图像识别与文字处理第 12 章　避开采集陷阱第 13 章　用爬虫测试网站第 14 章　远程采集附录 A　Python 简介附录 B　互联网简介附录 C　网络数据采集的法律与道德约束

（三）学习使用Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

学习Scrapy最好的方式就是看文档：Scrapy入门教程 - Scrapy 1.0.5 文档

部分目录如下：

Item Pipeline - Scrapy 1.0.5 文档
Feed exports - Scrapy 1.0.5 文档
Requests and Responses
异常(Exceptions) - Scrapy 1.0.5 文档
数据收集(Stats Collection)
调试(Debugging)Spiders - Scrapy 1.0.5 文档
实践经验(Common Practices)
通用爬虫(Broad Crawls)
借助Firefox来爬取 - Scrapy 1.0.5 文档
下载及处理文件和图片 - Scrapy 1.0.5 文档
暂停，恢复爬虫 - Scrapy 1.0.5 文档

文档中有一些Scrapy项目，这里再推荐一些项目（整理自网络）

使用scrapy框架爬取自己的博文 - huhuuu - 博客园
Scrapy爬虫入门教程、爬虫实例（豆瓣电影爬虫）
Python爬虫框架Scrapy实战之定向批量获取职位招聘信息
scrapy实战百度百科数据抓取
scrapy实战爬取链家网的二手房信息

（四）Python3一些实战项目，整理来自网络

Python3爬虫入门实战（一）豆瓣读书
Python3爬虫实战：爬取大众点评网某地区所有酒店相关信息
xchaoinfo/fuck-login