python爬取url的某些情形
来源:互联网 发布:linux操作系统教程 pdf 编辑:程序博客网 时间:2024/05/29 08:33
python网络获取url信息:
1、通过add_header()添加报头:Request.add_header(header)---request.urlopen(req).read()
import urllib.request
url="http://www.aqpta.com/sign/examSign/sign_chkLogin.asp"
#a. 创建Request对象;
req=urllib.request.Request(url)
#b. 添加报头信息
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36')
#c. urlopen()打开Request对象;
data=urllib.request.urlopen(req).read()
2、通过build_opener()修改报头:request.build_opener().addheaders(head)-----opener.open(url).read()
import urllib.request
url="http://www.aqpta.com/sign/examSign/sign_chkLogin.asp"
a.设置header;
header=('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36')
b. 创建opener对象;
opener=urllib.request.build_opener()
c. 设置opener;
opener.addheaders(header)
d. open()打开url;
data=opener.open(url).read()
3、需创建cookie; request.build_opener(request.HTTPCookieProcessor(http.cookiejar.CookieJar()))-----request.install_opener(opener) -----opener.open(opener)
import http.cookiejar
cjar=http.cookiejar.CookieJar()
#建立opener对象;
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar))
#安装opener对象;
urllib.request.install_opener(opener)
#打开request;
file=opener.open(req)
data=file.read()
file=open("a","wb")
file.write(data)
file.cose()
- python爬取url的某些情形
- [python] 爬取网站所有的URL
- [python] 爬取网站所有的URL
- python 爬取知网url
- Python入门:全站url爬取
- Python通过URL爬取图片
- python爬取百度新闻所有的新闻的前1页 标题和URL地址
- Python爬取www.alexa.cn网站上的部分url和相应的等级
- scrapy捕获爬取失败的url
- Python爬虫爬取Html中的Url常用知识
- URL对某些特殊字符串的转义
- PYTHON神经网络的某些错误
- python某些语句的用法
- javascript取url的参数
- js取url的参数
- 取子字符串的两种情形的解决办法(c#)
- python解析百度网页源代码:取搜索引擎返回的前page_num*10个链接的url
- jsoup爬取指定网页的url和图片
- 第四章 数据库安全性
- Linux系统中 查找目录下的所有文件中是否含有某个字符串
- SSM框架实战系列之一_项目简介及所需软件
- 看透 Spring MVC 源代码分析与实践 —— Spring MVC 组件分析
- 第十二周项目(3)
- python爬取url的某些情形
- 二叉树中和为某一值的路径 (剑指Offer 第 23 题)
- 字符串功能的模拟实现
- 遍历结构体向量 std::vec
- 国内主流云服务器价格概览
- java基础(io流)
- 第十二周项目(4)
- 可变参数的使用
- 【题解/2016提高】P1563 玩具谜题