Python分布式爬虫学习(一)

来源:互联网 发布:ps淘宝详情页制作 编辑:程序博客网 时间:2024/05/16 05:51

因为参加项目完成一个分布式爬虫系统,又捡起了之前学习了一点的python。因为对之前并没有接触过爬虫系统,所以借鉴了http://cuiqingcai.com/1052.html崔庆才老师的博客。这几篇博客用来记录自己在开发中遇到的问题。

  • 开发环境
Python的版本是3.5.2

编辑器:Pycharm2016

代码:

import urllib.requestresponse = urllib.request.urlopen("https://www.tmall.com")html = response.read()print(html)

错误:

这是因为在python3.3里面,用urllib.request代替urllib2,另外python3之后,不能再用,所以讲urllib2替换成urllib.request就好了

    
import urllib.requestresponse = urllib.request.urlopen("https://www.tmall.com")html = response.read()print(html)


 


0 0