python3+Scrapy环境配置外送两个小爬虫

来源：互联网发布：ubuntu 14.04 交叉编译编辑：程序博客网时间：2024/04/28 00:51

windows开发，环境很重要！

===========================重要的事情说三遍======================================

今天讲一下python3.6+scarpy框架，还有是前提：我是NET开发人员，本机是64位操作系统的windows10，本机有C,C++的运行库，如果没有请自行下载，另外赠送一个Scrapy写小程序：很简单是爬博客首页文章的，地址在最下方

地址包如下：http://pan.baidu.com/s/1bMeopS 密码: phbg 一如既往的网盘

1、安装python36 对应资源包下的python-3.6.2-amd64

2、windows环境必备pywin32对应资源包pywin32-221.win-amd64-py3.6 此包验证成功与否，可cmd python 然后import win32com,没有错误提示证明是成功的

3、安装zope.interface,cd到资源包解压后的文件夹，然后命令:" pip install zope.interface-4.4.2-cp36-cp36m-win_amd64.whl "

4、安装Twisted,cd到资源包解压后的文件夹，然后命令:"pip install Twisted-17.5.0-cp36-cp36m-win_amd64.whl"

5、安装lxml,cd到资源包解压后的文件夹，然后命令:"pip install lxml-3.7.3-cp36-cp36m-win_amd64.whl"

6、安装OpenSSL,cd到资源包解压后的文件夹，然后命令:"pip install pyOpenSSL-17.2.0-py2.py3-none-any.whl"

7、安装Scrapy,直接命令pip install Scarpy

上边写1-7是为了条理，其实大家都知道的不管是zope,Twisted,lxml,OpenSSl,还是其它的组件包，安装顺序不太分前后的，何况你安装的时候，如果缺少什么东西，聪明的安装包会告诉我们必须要先安装哪个东东的

资源包截图如下：

Scrapy爬虫框架之---小爬虫博客首页文章，一如既往的网盘：链接: http://pan.baidu.com/s/1geAyLOn 密码: 3efw

里边的爬虫有两个，一个是爬百度标题的”百度一下，你就知道“，一个是爬虫博客的，运行相信大家一定没有问题的 scrapy crawl baidu,scrapy crawl csdn

不用谢，我叫雷峰

阅读全文

3 0