作为一个数据科学家，从网络获取数据是必备的手段之一。今天来说一下使用Python来采集数据，虽然很多人更想叫它爬虫，但是本人更愿意叫网络数据采集。

下面说一下Python中Urllib库的基本使用。

在Python2.7中还有urllib2库，但是在Python3中，已经没有urllib2了，它们被整合到了一起成为urllib库。

先看一个简单的小栗子：

#coding:utf-8import urllib2# 构造Requestrequest = urllib2.Request("http://www.baidu.com")response = urllib2.urlopen(request)# read方法，可以返回获取到的网页内容print response.read()

然后我们看一下GET和POST数据传送：

#coding:utf-8import urllibimport urllib2#GET数据传送,values = {}values['username'] = "[e-mail]"values['password'] = "********"data = urllib.urlencode(values)# 模拟登陆CSDNurl = "https://passport.csdn.net/account/login"geturl = url + "?" + datarequest = urllib2.Request(geturl)response = urllib2.urlopen(request)print response.read()#下面是POST数据传输#coding:utf-8import urllibimport urllib2# POST数据传送# values = {}# values['username'] = "[e-mail]"# values['password'] = "********"values = {"username":"[e-mail]","password":"********"}data = urllib.urlencode(values)# 模拟登陆CSDNurl = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"request = urllib2.Request(url, data)response = urllib2.urlopen(request)print response.read()

注意：上面的xxxx和*****请替换成自己的用户名和密码。

希望通过上面的操作能帮助大家获取一些想要的数据。如果你有什么好的意见，建议，或者有不同的看法，我都希望你留言和我们进行交流、讨论。

如果想快速联系我，欢迎关注微信公众号：AiryData。

欢迎访问原文链接，查看更多内容。

Python网络数据采集Urllib库的基本使用