Python爬取豆瓣电影
来源:互联网 发布:matlab中对矩阵的提取 编辑:程序博客网 时间:2024/04/29 03:19
前几天做了一个爬取豆瓣Top250电影的爬虫,在爬取了豆瓣Top250的电影后,想试一试根据电影类别爬取所有的豆瓣电影,基本的原理是想通的。代码采用Python,抠取页面内容采用Beautiful Soup。
1.豆瓣电影分析
以豆瓣爱情类型电影为例,在浏览区中输入http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie?start=0后显示的内容如下图所示:
可以看到每个电影以列表显示展现,每页显示15条电影信息。每一条的电影信息包括电影名称、国家或地区、电影类型、导演、主演,如果需要查看详细的电影信息需要每个电影的详情页面。
2.获取豆瓣电影类别
要根据电影类型爬取电影需要先获取所有的电影类别。
在Chrome浏览器中通过F12分析页面内容,可以看到类别是处于id为'article'的div标签中。
获取每一条类别名称,并存放于List中。
3.根据电影类别爬取电影列表
在获取了所有的类别标签后,依次遍历每一个类别标签,根据类别名称获取此类别的电影。查看类别电影列表的源码特点
所有的电影列表处于<div class="mod movie-list">之中,每一个电影在dl中。采用Beautiful Soup获取电影列表,然后分析每一个电影信息,获取电影详情页面的URL,下面代码中的detail_url即为电影详情页面的URL
获取到URL之后,再次爬取单个电影页面,获取电影的电影名称、导演、编剧、主演、类型、制品国家或地区、语言、上映时间、片长、豆瓣评分、剧情简介信息。
获取豆瓣评分及剧情介绍代码:
4.将电影信息插入到数据库中
在处理中每爬取一页内容即把数据存放于数据库中。
爬取的电影信息总共有26302条
阅读全文
0 0
- Python爬取豆瓣电影
- Python爬取豆瓣电影
- Python爬取豆瓣电影
- Python爬取豆瓣电影top250
- python爬取豆瓣电影信息
- Python爬取豆瓣电影Top250数据
- python+beautifulsoup爬取豆瓣电影TOP250
- python爬取豆瓣电影信息
- Python爬取豆瓣电影top250
- python爬取豆瓣电影Top250
- python爬取豆瓣电影top250
- <Python爬虫>爬取豆瓣图书/豆瓣电影系列
- 爬取豆瓣的电影
- 爬取豆瓣电影数据
- scrapy爬取豆瓣电影
- 爬取豆瓣所有电影
- Python—爬虫—简单爬取豆瓣电影
- 使用python爬取豆瓣电影图片(-)
- linux主机性能
- Linux下CRF++安装工作
- Unity JSON文件的写入(序列化)与读取(反序列化)、以及自定义JSON编辑器
- Oracle基础练习③
- 哈希,poj3349
- Python爬取豆瓣电影
- IntelliJ Idea 常用快捷键列表
- FZU 2148 Moon Game(线性代数,几何)
- 为包含指针的关联容器指定比较类型
- C--模块三--变量
- LeetCode 412. Fizz Buzz (int转string)
- 实验3 RTC定时器的应用及中断机制
- ubuntu ssh配置 + xshell
- 500万条微博数据来源分析