Python中的urllib，urllib三种不同的请求方式

1、urllib获取服务器的资源

自定义爬虫的重要组件

获取百度首页的资源：

#3.x的标准写法import urllib.requestimport urllib.parse#百度的首页from bs4 import BeautifulSoupurl = "http://www.baidu.com/"#发起一个request请求,得到返回对象res = urllib.request.urlopen(url)#查看http访问状态if res.status == 200:    print("访问成功")    #获取数据    data = res.read().decode("utf-8")    print(data)    soup = BeautifulSoup(data)    print(soup.title.string)

2.urllib.request回顾

urllib.request提供三种不同的请求方式：

第一种是get请求    方式一：urllib.request.urlopen(url)    方式二：先创建一个urllib.request.Request对象，然后将对象放入urlopen中。urllib.request.urlopen(Request对象)第二种是POST:携带数据过去    比如：登录用户名，密码    先创建一个urllib.request.Request    将请求数据放到Request对象中urllib.request.Request(url,data)    注意：在此之前先将data进行转化：       data = urllib.parse.urlencode(values)第三种是：添加请求头

#get 请求import urllib.request#get 请求方式1url = "http://www.baidu.com"resp = urllib.request.urlopen(url)if resp.status ==200:    data = resp.read().decode("utf-8")    #print(data)#get请求方式2url = "http://www.baidu.com"req = urllib.request.Request(url)resp = urllib.request.urlopen(req)if resp.status ==200:    data = resp.read().decode("utf-8")    #print(data)#post请求data = {"name":"张三","age":"17"}url = "http://www.baidu.com"z_data = urllib.parse.urlencode(data)req = urllib.request.Request(url,z_data.encode('utf-8'))resp = urllib.request.urlopen(req)if resp.status ==200:    data = resp.read().decode("utf-8")    #print(data)#headerimport urllib.parseimport urllib.requesturl = "http://www.baidu.com"user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'values = {'name' : 'Michael Foord',          'location' : 'Northampton',          'language' : 'Python'}headers = {'User-Agent':user_agent}data = urllib.parse.urlencode(values)req = urllib.request.Request(url, data.encode("utf-8"), headers)response = urllib.request.urlopen(req)the_page = response.read().decode("utf-8")print(the_page)