python3爬取拉勾网招聘信息存为excel格式
来源:互联网 发布:转置矩阵公式大全 编辑:程序博客网 时间:2024/04/27 23:34
#encoding:utf-8import json # 使用json解码 因为拉勾网的格式是jsonimport requests # 使用这个requests是得到网页源码import pandas # 使用这个数据进行存储import openpyxl
items = [] # 定义空列表用来存放你得到的数据# 循环两页 这里爬取的是两页内容for i in range(1,2): # 传入data 因为这个url是post的请求方法 pn指的是页数 kd指的是你搜索的内容 data = {'first': 'true', 'pn': i, 'kd': 'python'} # 拉钩网的链接是固定的就变化的是页数 因为是post的提交方法 所以传入data yuan = requests.post('https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false', data=data).text # 使用json进行解码 因为返回的是一个json的格式 yuan = json.loads(yuan) # 得到14个数据 for i in range(14): item = [] # 看下面的图片item里面的是什么数据 item.append(yuan['content']['positionResult']['result'][i]['positionName']) item.append(yuan['content']['positionResult']['result'][i]['companyFullName']) item.append(yuan['content']['positionResult']['result'][i]['salary']) item.append(yuan['content']['positionResult']['result'][i]['city']) item.append(yuan['content']['positionResult']['result'][i]['positionAdvantage']) items.append(item)# 使用的是pands的存数据 存为xlsx就是excel格式data = pandas.DataFrame(items)data.to_excel('拉钩.xlsx')
大家多评论,指正。
阅读全文
1 0
- python3爬取拉勾网招聘信息存为excel格式
- excel存为网页格式
- jacob 另存word ,excel 为html,xml格式
- 读取Excel信息为特殊字符串json格式
- 爬取拉勾网招聘信息并使用xlwt存入Excel
- 巧借Excel另存功能,在VFP中转换表格为CSV格式
- 爬取拉勾网招聘信息
- Python爬取拉勾网招聘信息
- python3小项目——爬取智联招聘信息(二)
- python3爬取百度招聘信息使用进程池
- Haxe中保存位图为JPG格式
- Repeater导出为excel格式
- Repeater导出为excel格式
- [Repeater]导出为excel格式
- 爬取拉勾网招聘信息并使用xlwt存入Excel ——问题总结
- python3小项目——爬取招聘信息(智联招聘)
- excel日期格式转换为文本格式
- POI设置excel格式为文本格式
- java.lang.reflect.Modifier
- 基于jsp开发的登录模块
- elasticsearch之x-pack破解
- oem 部署代理报错:Algorithm negotiation fail
- JS中的系统对象(本地对象)
- python3爬取拉勾网招聘信息存为excel格式
- MATLAB学习笔记 形态学图像处理(二)
- 模板
- Android NDK 初探
- 机器学习之正则化(regularization)
- laravel5.4简单CURD
- Contains Duplicate
- HDU 4055 Number String【DP递推+递推优化】【好题】
- 批量修改文件名