爬虫

来源:互联网 发布:软件开发报告模板 编辑:程序博客网 时间:2024/06/06 04:03

使用requests写爬虫

1.使用Python3 中的requests模块编写爬虫
2.安装requests pip3 install requests
3.使用requests中get请求向目标连接发送请求
4.requests.get请求得到response响应数据
5.requests.text解析请求的数据得到一个html页面
6.再使用beautifulsoup对页面进行进行分析,筛选自己需要的数据
上述描述实现一个简单的爬虫