Mac 安装Scrapy爬虫库失败

来源:互联网 发布:人脸识别与物流优化 编辑:程序博客网 时间:2024/05/22 21:29

  • 面向的读者
  • 原因
  • 解决方案
  • 总结
  • 备注

面向的读者:

在Mac 上安装scrapy失败了,遇到failed building wheel for cryptography错误,或者fatal error: ‘openssl/aes.h’ file not found,或者安装lxml失败的读者可参考此文档。

原因:

原因是macOS 10.11不再提供OpenSSL的副本,而cryptography现在提供的wheels包含了一个静态链接的OpenSSL的副本。之所以看到这个错误,是因为pip的版本太旧了。

解决方案:

通过如下命令更新后然后再重新安装cryptography即可:
pip install -U pip
等cryptography安装完毕以后,再次通过pip安装scrapy,如果不再缺少依赖的话,即可完成scrapy的安装。

总结:

在这个过程中,这个问题的答案其实在cryptography的官方文档中有提到,如果我们最开始就是看的scrapy的官方文档,那么我们将会看到需要安装 OpenSSL,然后我们通过查看OpenSSL的pypi界面最下方的依赖,会发现OpenSSL需要安装cryptography,然后再看cryptography的官方文档即可找到答案,所以,我觉得学习IT要学会看官方文档,这点很重要。

备注:

如果你在安装scrapy的过程中,发现lxml安装不成功,最好也去查看它的官方文档,你会发现可能是你缺少libxml2 和 libxslt。

原创粉丝点击