Python网络爬虫与信息提取-Day5-Requests库网络爬取实战

来源：互联网发布：ubuntu mate 17.10 qq 编辑：程序博客网时间：2024/05/14 13:08

一、京东商品页面的爬取

先选取一个商品页面

例如：https://item.jd.com/12186192.html

直接利用之前的代码框架即可

import requestsurl = "https://item.jd.com/12186192.html"try:r = requests.get(url)r.raise_for_status()r.encoding = r.apparent_encodingprint(r.text[:1000])except:print("爬取失败")

二、亚马逊商品页面的爬取

选取一个亚马逊商品页面，例如：

https://www.amazon.cn/Python%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91%E4%B8%8E%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98-%E8%8C%83%E4%BC%A0%E8%BE%89/dp/B071WMZ43K/ref=pd_sim_14_8?ie=UTF8&psc=1&refRID=FS952H52P44DZCC679D5

>>> import requests

>>>requests.get("https://www.amazon.cn/Python%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91%E4%B8%8E%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98-%E8%8C%83%E4%BC%A0%E8%BE%89/dp/B071WMZ43K/ref=pd_sim_14_8?ie=UTF8&psc=1&refRID=FS952H52P44DZCC679D5")

>>> r.status_code

503

状态码是503，说明访问失败

>>> r.encoding

'ISO-8859-1'

>>> r.encoding = r.apparent_encoding

>>> r.text

'\n<html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><title>亚马逊</title><body style="text-align:center;"><br><div style="width:600px;margin:0 auto;text-align:left;"><h2>意外错误</h2></div><br><div style="width:500px;margin:0 auto;text-align:left;"><font color="red">报歉，由于程序执行时，遇到意外错误，您刚刚操作没有执行成功，请稍后重试。或将此错误报告给我们的客服中心：<a href="mailto:service_bj@cs.amazon.cn">service_bj@cs.amazon.cn</a></font><br><br>推荐您<a href="javascript:history.back(1)">返回上一页</a>，确认您的操作无误后，再继续其他操作。<br>您可以通过亚马逊<a href="http://www.amazon.cn/help/ref=cs_503_link/" target="_blank">帮助中心</a>，获得更多的帮助。<br></div></body></html>\ufeff'

我们可以看到“意外错误”这样的内容

很多网站对网络爬虫有限制

通过判断对网站访问的HTTP的头来查看你的访问时不时有一个爬展引起的，网站一般接受的是由浏览器引发的或产生的HTTP请求，而对于爬虫的请求，网站是可以拒绝的.

requests库的Response对象包含requests请求，可以通过r.requests.headers来查看我们发给亚马逊的requests信息的头部到底是什么内容

>>> r.request.headers

{'User-Agent': 'python-requests/2.18.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

'User-Agent': 'python-requests/2.18.4'

这说明我们的爬虫忠实地告诉了亚马逊的服务器，这次的访问是由一个python程序的requests库产生的.如果亚马逊提供了这样的来源审查，它就可以使这样的访问变得错误，或者说它不支持这样的访问.

我们可以更改头部信息.

我们来试试让我们的程序模拟一个浏览器向亚马逊发送一个请求.

>>> kv = {'user-agent':'Mozilla/5.0'}

>>> url =

"https://www.amazon.cn/Python%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91%E4%B8%8E%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98-%E8%8C%83%E4%BC%A0%E8%BE%89/dp/B071WMZ43K/ref=pd_sim_14_8?ie=UTF8&psc=1&refRID=FS952H52P44DZCC679D5"

>>> r = requests.get(url, headers = kv)

>>> r.status_code

200

>>> r.request.headers

{'user-agent': 'Mozilla/5.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

>>> r.text[:1000]

'\n\n\n\n\n\n \n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n <!doctype html><html class="a-no-js" data-19ax5a9jf="dingo">\n <head>\n<script type="text/javascript">var ue_t0=ue_t0||+new Date();</script>\n<script type="text/javascript">\nvar ue_hob=+new Date();\nvar ue_id=\'QYTRWQ5TQ6BK5T88NYGK\',\nue_csm = window,\nue_err_chan = \'jserr-rw\',\nue = {};\n(function(d){var e=d.ue=d.ue||{},f=Date.now||function(){return+new Date};e.d=function(b){return f()-(b?0:d.ue_t0)};e.stub=function(b,a){if(!b[a]){var c=[];b[a]=function(){c.push([c.slice.call(arguments),e.d(),d.ue_id])};b[a].replay=function(b){for(var a;a=c.shift();)b(a[0],a[1],a[2])};b[a].isStub=1}};e.exec=function(b,a){return function(){if(1==window.ueinit)try{return b.apply(this,arguments)}catch(c){ueLogError(c,{attribution:a||"undefined",logLevel:"WARN"})}}}})(ue_csm);\n\nue.stub(ue,"log");ue.stub(ue,"onunload");ue.stub(ue,"onflush");\n\n(function(d,e){function h(f,b){if(!(a.ec>a.mxe)&&f){a.ter.push(f'

>>>

我们重新定义了一个键值对使得'user-agent'为'Mozilla/5.0'说明的是这时候的user-agent是一个浏览器

对自己的数据保护比较好的网站通过这种方式也能获取信息

import requestsurl = "https://www.amazon.cn/Python%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91%E4%B8%8E%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98-%E8%8C%83%E4%BC%A0%E8%BE%89/dp/B071WMZ43K/ref=pd_sim_14_8?ie=UTF8&psc=1&refRID=FS952H52P44DZCC679D5"try:        kv = {'user-agent':'Mozilla/5.0'}r = requests.get(url, headers = kv)r.raise_for_status()r.encoding = r.apparent_encodingprint(r.text[1000:2000])except:print("爬取失败")

三、百度搜索关键字提交

用程序向搜索引擎自动地提交个关键词并获得它的搜索结果

对关键词的搜索提供了一个接口

百度的关键词接口：

http://www.baidu.com/s?wd=keyword

构造一个url链接，包含我们要搜索的关键词

参数paras，它可以向url中增加相关的内容

从返回的信息中解析百度返回的链接与返回的内容

获取关键词的页面

import requestskeyword = "Python"try:        kv = {'wd':keyword}r = requests.get("http://www.baidu.com/s", params=kv)print(r.requests.url)r.raise_for_status()print(len(r.text))except:print("爬取失败")

四、网络图片的爬取和存储

网络图片链接的格式：http://www.example.com/picture.jpg

import requestsimport osurl = "http://image.nationalgeographic.com.cn/2017/0822/20170822095949354.jpg"root = "D://pics//"path = root + url.split('/')[-1]try:        if not os.path.exists(root):                os.mkdir(root)        if not os.path.exists(root):                r = requests.get(url)                with open(path,'wb') as f:                        f.write(r.content)                        f.close()                        print("文件保存成功")        else:                print("文件已存在")except:        print("爬取失败")

五、IP地址归属地的自动查询

想要判断一个网址的归属地必须有一个库，程序并没有这样的库，在网上找相关的资源.事实上一个叫ip138的网站提供这样的功能

http://m.ip138.com/ip.asp?ip=ipaddress

import requestsurl = "http://m.ip138.com/ip.asp?ip="try:r = requests.get(url+'202.204.80.112')r.raise_for_status()r.encoding = r.apparent_encodingprint(r.text[-500:])except:print("爬取失败")

有的时候在网站上看到的人机交互方式，比如说图形的、文本框的、需要点击按钮的，这种方式，在正式的向后台服务器提交的时候其实都是以链接的形式来提交的.

只要能够通过浏览器的解析知道向后台提交的链接形式，就可以用python代码模拟，或者用python程序向后台做正式的提交，不需要人来做这样的事情.

所以需要向网站作自动的提交的时候，去挖掘一下这个网站后台的API是什么.

阅读全文

1 0