python3的爬虫算法(1)--获取网页数据
来源:互联网 发布:php修改密码代码 编辑:程序博客网 时间:2024/06/05 19:27
python3中根据特定的url获取网页数据的功能很强大,对于爬虫的介绍我也不多说。下面来介绍实现方法
import urllib.request #python3中urllib的特定库
from bs4 import BeautifulSoup
import codecs
url = 'http://day.2345.com/20170228385038.html?top'#此次爬取得是2345网页的笑话
from bs4 import BeautifulSoup
import codecs
url = 'http://day.2345.com/20170228385038.html?top'#此次爬取得是2345网页的笑话
'''
user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'
headers = {'User-Agent': user_agent, 'Connection': 'keep-alive'}
req = urllib.request.Request(url,headers=headers)
headers = {'User-Agent': user_agent, 'Connection': 'keep-alive'}
req = urllib.request.Request(url,headers=headers)
此三行用来伪装成一个浏览器请求,若urlopen被拒绝访问可以使用此方法,具体调用:
data = urllib.request.urlopen(url).read()替换为data = urllib.request.urlopen(req).read()
'''
data = urllib.request.urlopen(url).read()
#page_data = data.decode('GBK')#根据浏览器不同自行设置编码方式(主要是对中文的处理)
#print(page_data)
#print(type(data))
fp = open('/temp/cookie.txt','wb')#写入文件,注意获得的data是bytes类型的数据,存入文件必须以'wb‘的形式打开
fp.write(data)
fp.close()
#page_data = data.decode('GBK')#根据浏览器不同自行设置编码方式(主要是对中文的处理)
#print(page_data)
#print(type(data))
fp = open('/temp/cookie.txt','wb')#写入文件,注意获得的data是bytes类型的数据,存入文件必须以'wb‘的形式打开
fp.write(data)
fp.close()
#打开文件即可
注意:此处发现一个问题,在写入文件时,如果我存入txt文件则中文编码不受影响,若存入.html文件,中文符号变为乱码。至今不解。希望如果有人知道答案,评论里留言,感激不尽
0 0
- python3的爬虫算法(1)--获取网页数据
- python3 网络爬虫(二)利用get请求获取网页的动态加载数据
- python3 网络爬虫(三)利用post请求获取网页的动态加载数据
- python3爬虫1--简单网页源代码获取
- python3爬虫(网页下载)
- python3(urlopen)获取网页的坑
- Python3爬虫(一)抓取网页的html
- Python3爬虫(二)保存抓取网页的html
- python3实现网络爬虫(1)--urlopen抓取网页的html
- python3爬虫下载网页上的pdf
- Java:java爬虫获取动态网页的数据
- JAVA 爬虫获取js动态生成的网页数据
- Python3 爬虫(一)-- 简单网页抓取
- Python3 爬虫(一)-- 简单网页抓取
- python3 动态网页爬虫
- Python网络爬虫(1)获取网页
- Python网络爬虫(一)-----获取网页数据
- python3的爬虫算法(3) 实现自动登陆,签到
- 在ccs7下进行DM6467的开发(3):在Linux下连接仿真器
- 503. Next Greater Element II
- 卸载Sql Server 2014数据库
- JAVA开发Web Service几种框架介绍
- Eclipse SDK与 IDE 有什么区别,是什么意思?
- python3的爬虫算法(1)--获取网页数据
- 回文数的判断-Python
- 算法练习笔记(二)
- 设计模式 建造者模式
- sudo apt-get update时遇到以下问题
- 分治算法(一)241Different Ways to Add Parentheses【middle】03-02
- hdu 1203 01背包变形。。。一道很诡异的水题。。
- [面试][算法] 常见10种算法 java 实现
- 安卓开发好网址收集