python爬虫之GET请求

GET请求：  GET请求会通过URL网址传递信息，可以直接在URL中写上要传递的信息，也可以由表单进行传递。如果使用表单进行传递，这表单中的信息会自动转为URL地址中的数据，请求URL地址传递。

对百度查询中输入hello分析：

    对应的查询信息是通过URL传递的，这里采用的是HTTP请求中的GET方法，字段wd为hello，是查询信息，因此wd是存储用户带检索的关键词。

    在百度上查询一个关键词，会使用GET请求进行，其中关键字段是wd，网址的格式为：https://www.baidu.com/s?wd=关键词

构造GET请求

代码：

import urllib.requestkeywd = "hello"url = "http://www.baidu.com/s?wd="+keywdreq = urllib.request.Request(url)data = urllib.request.urlopen(req).read()data = data.decode("utf-8")print(data)

但是如果检索中文，会因为编码问题而报错，可以使用urllib.request.quote()进行编码

代码：

import urllib.requestkeywd = "我"wd = urllib.request.quote(keywd)url = "http://www.baidu.com/s?wd="+wdreq = urllib.request.Request(url)data = urllib.request.urlopen(req).read()data = data.decode("utf-8")print(data)

GET请求思路

1.构建对应的URL地址，该地址包括GET请求的字段名和字段内容，并且URL地址满足GET请求的格式：“http：//网址？字段名1=字段内容1&字段名2=字段内容2”

2.以对应的URL为参数，构建Request

3.通过urlopen()打开构建的Request对象