Python爬虫实战(1):爬取Drupal论坛帖子列表
来源:互联网 发布:淘宝代运营骗局 深圳 编辑:程序博客网 时间:2024/06/06 14:16
1,引言
在《Python即时网络爬虫项目: 内容提取器的定义》一文我们定义了一个通用的python网络爬虫类,期望通过这个项目节省程序员一半以上的时间。本文将用一个实例讲解怎样使用这个爬虫类。我们将爬集搜客老版论坛,是一个用Drupal做的论坛。
2,技术要点
我们在多个文章都在说:节省程序员的时间。关键是省去编写提取规则的时间,尤其是调试规则的正确性很花时间。在《1分钟快速生成用于网页内容提取的xslt》演示了怎样快速生成提取规则,接下来我们再通过GooSeeker的api接口实时获得提取规则,对网页进行抓取。本示例主要有如下两个技术要点:
3,python源代码
4,抓取结果
运行上节的代码,即可在控制台打印出提取结果,是一个xml文件,如果加上换行缩进,内容如下图:
5,相关文档
1, Python即时网络爬虫项目: 内容提取器的定义
6,集搜客GooSeeker开源代码下载源
1, GooSeeker开源Python网络爬虫GitHub源
7,文档修改历史
1,2016-06-06:V1.0
2,2016-06-06:V2.0
3,2016-06-06:V2.1,增加GitHub下载源
在《Python即时网络爬虫项目: 内容提取器的定义》一文我们定义了一个通用的python网络爬虫类,期望通过这个项目节省程序员一半以上的时间。本文将用一个实例讲解怎样使用这个爬虫类。我们将爬集搜客老版论坛,是一个用Drupal做的论坛。
2,技术要点
我们在多个文章都在说:节省程序员的时间。关键是省去编写提取规则的时间,尤其是调试规则的正确性很花时间。在《1分钟快速生成用于网页内容提取的xslt》演示了怎样快速生成提取规则,接下来我们再通过GooSeeker的api接口实时获得提取规则,对网页进行抓取。本示例主要有如下两个技术要点:
- 通过GooSeeker API实时获取用于页面提取的xslt
- 使用GooSeeker提取器gsExtractor从网页上一次提取多个字段内容。
3,python源代码
<pre name="code" class="python"># _*_coding:utf8_*_# crawler_gooseeker_bbs.py# 版本: V1.0from urllib import requestfrom lxml import etreefrom gooseeker import GsExtractor# 访问并读取网页内容url = "http://www.gooseeker.com/cn/forum/7"conn = request.urlopen(url)doc = etree.HTML(conn.read())bbsExtra = GsExtractor() bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "gooseeker_bbs_xslt") # 设置xslt抓取规则,第一个参数是app key,请到会员中心申请result = bbsExtra.extract(doc) # 调用extract方法提取所需内容print(str(result))
源代码下载位置请看文章末尾的GitHub源。
4,抓取结果
运行上节的代码,即可在控制台打印出提取结果,是一个xml文件,如果加上换行缩进,内容如下图:
5,相关文档
1, Python即时网络爬虫项目: 内容提取器的定义
6,集搜客GooSeeker开源代码下载源
1, GooSeeker开源Python网络爬虫GitHub源
7,文档修改历史
1,2016-06-06:V1.0
2,2016-06-06:V2.0
3,2016-06-06:V2.1,增加GitHub下载源
0 0
- Python爬虫实战(1):爬取Drupal论坛帖子列表
- Python爬虫实战之爬取百度贴吧帖子
- Python爬虫实战二之爬取百度贴吧帖子
- Python爬虫实战二之爬取百度贴吧帖子
- Pyspider框架 —— Python爬虫实战之爬取 V2EX 网站帖子
- Python爬虫实战二之爬取百度贴吧帖子
- python爬虫实战二之爬取百度贴吧帖子
- Python爬虫实战(二):爬取天涯帖子(只看楼主)
- Python爬虫实战(1):爬取糗事百科段子
- Python爬虫实战(1):爬取糗事百科段子
- python爬虫爬学校民主湖论坛(3)----------多线程搜索帖子
- python爬虫-爬取股票贴吧帖子
- python爬虫小项目: 爬取百度贴吧帖子
- python爬虫(13)爬取百度贴吧帖子
- Python爬虫实战(2):百度贴吧帖子
- Python爬虫实战(2):百度贴吧帖子
- 简单的python爬虫程序(爬取百度贴吧帖子)
- 《python爬虫实战》:爬取图片
- C#调用百度地图API
- 数字证书原理[推荐]
- Android 手机root
- java中Scanner的hasNext()的疑问
- SQL 各种锁等待类型 wait type--sys.dm_os_wait_stats 表
- Python爬虫实战(1):爬取Drupal论坛帖子列表
- Plugin is too old, please update to a more recent version, or set ANDROID_DAILY_OVERRIDE environmen
- 页眉中的导航如何写
- nginx ,redis,tomcat 配置成服务方式
- Windows下faster_rcnn运行问题
- Substring with Concatenation of All Words
- SQLServer2012转2008(高版本向低版本兼容)
- Nginx vs Apache
- QtQuick 技巧 3