爬取《小王子》豆瓣短评前5页的短评数据
来源:互联网 发布:history linux 查询 编辑:程序博客网 时间:2024/05/17 07:47
思考一下,以下代码还有什么更加简洁的写法?
import requestsfrom lxml import etreeimport pandas as pdurls = ['https://book.douban.com/subject/1084336/comments/hot?p={}'.format(str(i)) for i in range(1, 6)]# 通过观察的url翻页规律,使用for循环得到5个链接,保存到urls列表中comment = [] # 初始化用于保存短评的列表for url in urls: # 使用for循环分别获取每个页面的数据 r = requests.get(url).text # 请求获取文本数据 s = etree.HTML(r) # 用于解析HTML对象 file = s.xpath('//div[@class="comment"]/p/text()') comment = comment + filedf = pd.DataFrame(comment) # 把comment列表转换为pandas DataFramedf.to_excel('短评数据.xlsx') # 使用pandas把数据保存到excel表格
阅读全文
0 0
- 爬取《小王子》豆瓣短评前5页的短评数据
- Scrapy 爬取 豆瓣电影的短评
- Python 3.6 爬虫爬取豆瓣《孤芳不自赏》短评
- 爬虫笔记-使用python爬取豆瓣短评
- 利用豆瓣短评数据生成词云
- 利用豆瓣短评数据生成词云
- 利用豆瓣短评数据生成词云
- 我的第一个豆瓣短评爬虫
- 爬取豆瓣TOP250电影的评分、评价人数、短评等信息,并在其保存在sql数据库中。
- python爬虫 登陆豆瓣 爬豆瓣电影短评
- 我的豆瓣短评爬虫的多线程改写
- 我的豆瓣短评爬虫的多线程改写
- 爬虫实践---豆瓣短评+词云分析
- Java豆瓣电影爬虫——抓取电影详情和电影短评数据
- 四大软件的精彩短评
- 四大软件的精彩短评
- cmm 短评
- 《霸王别姬》短评
- 输入多个字符
- 乔布斯
- Linux上创建一个用户,并给该用户指定目录的权限,其它目录没有权限
- DetachedCriteria查询出包含一个null的数组
- CaptureWizPro(屏幕抓取软件)官方注册版V6.10下载 | CaptureWizPro 注册版
- 爬取《小王子》豆瓣短评前5页的短评数据
- hud 2602 Bone Collector (0_1背包模板题)
- linux/unix下telnet提示Escape character is '^]'的意义
- 常用的git命令
- greendao3.22的使用
- 第二天学的小程序
- 沉默单高判断
- 雷达信号采集板设计方案
- Docker build本地