python爬虫慕课网实例（一）

一爬取京东商品页面

首先导入requests库

import requests

商品页面的URL

url='https://item.jd.com/5025522.html'

使用requests中的get函数

r=requests.get(url)

判断是否能够访问

r.status_code

返回值为200 能够访问

用 r.text 获得页面

代码:

requests import

url='https://item.jd.com/5025522.html'

try:

r=requests.get(url)

r.raise_for_status#若无法访问 返回异常

print(r.text)

except:

print('爬取失败')

二 爬取亚马逊网站商品

与京东商品类似

用r.status_code时返回值为503 禁止访问

查看headers

其中User-Agent为python-requests，检测出访问网页的是爬虫

修改User-Agent为浏览器标识即可

kv={'User-Agent':'Mollia/5.0'}

r=requests.get(url,headers=kv)

修改完后可以访问

完整代码

import request

url='https://www.amazon.cn/dp/B0721V3L4B/ref=gwgfloorv1_CE_nal_1?pf_rd_p=05b45cee-1b6d-43b4-ba8a-d2ac26fc8576&pf_rd_s=desktop-7&pf_rd_t=36701&pf_rd_i=desktop&pf_rd_m=A1AJ19PSB66TGU&pf_rd_r=6XAA1M9F015BB7QECD7H&pf_rd_r=6XAA1M9F015BB7QECD7H&pf_rd_p=05b45cee-1b6d-43b4-ba8a-d2ac26fc8576'

try:

kv={'User-Agent':'Mollia/5.0'}

r=requests.get(url,headers=kv)

r.raise_for_statius

print(r.text[-500:])#输出最后五百个字符，可以输出你想得到的部分，全部输出太多

except：

print('爬取失败')