Webmagic爬虫--①初入门
来源:互联网 发布:寻找客源的软件 编辑:程序博客网 时间:2024/06/05 20:30
1.创建一个普通Maven项目,导入以下依赖
<dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>0.7.3</version> </dependency> <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-extension</artifactId> <version>0.7.3</version> </dependency>
2.创建一个测试类,实现PageProcessor接口,重写getSite方法,process方法,
package com.xt;import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Site;import us.codecraft.webmagic.Spider;import us.codecraft.webmagic.processor.PageProcessor;/** * Created by XT on 2017/11/23. */public class test implements PageProcessor { // 抓取网站的相关配置,包括编码、抓取间隔、重试次数等 private Site site = Site.me().setRetryTimes(3).setSleepTime(100); private static int count =0; public Site getSite() { return site; } public void process(Page page) { //判断链接是否符合http://www.cnblogs.com/任意个数字字母-/p/7个数字.html格式 if(!page.getUrl().regex("http://www.cnblogs.com/[a-z 0-9 -]+/p/[0-9]{7}.html").match()){ //加入满足条件的链接 page.addTargetRequests( page.getHtml().xpath("//*[@id=\"post_list\"]/div/div[@class='post_item_body']/h3/a/@href").all()); }else{ //获取页面需要的内容 System.out.println("抓取的内容:"+ page.getHtml().xpath("//*[@id=\"Header1_HeaderTitle\"]/text()").get() ); count ++; } } public static void main(String[] args) { long startTime, endTime; System.out.println("开始爬取..."); startTime = System.currentTimeMillis(); Spider.create(new test()).addUrl("https://www.cnblogs.com/").thread(5).run(); endTime = System.currentTimeMillis(); System.out.println("爬取结束,耗时约" + ((endTime - startTime) / 1000) + "秒,抓取了"+count+"条记录"); }}
3.执行main方法爬取数据。
阅读全文
0 0
- Webmagic爬虫--①初入门
- java 爬虫 WebMagic-使用入门
- Java爬虫框架:WebMagic一(入门)
- WebMagic 爬虫框架的入门使用
- webmagic爬虫
- webmagic爬虫
- 基于WebMagic写的一个入门级CSDN博客爬虫
- webmagic入门
- webmagic爬虫程序
- WebMagic/JMX&爬虫监控
- WebMagic 爬虫框架学习
- Java爬虫(webmagic)
- java 爬虫框架 webmagic
- webmagic爬虫使用
- WebMagic爬虫案例
- 基于WebMagic爬虫
- java爬虫案例--webmagic
- WebMagic爬虫框架学习
- 解决Eclipse SVN文件冲突详解
- 事物管理
- 禁用控件回车事件监听事件
- 本地YUM源制作
- C#开发笔记: 字体对话框,颜色对话框案例
- Webmagic爬虫--①初入门
- java String对象详细说明
- iPhone X的iOS应用程序测试基础
- HttpClient的几个超时时间
- IOS 跳转UI的方法
- oracle数据库开启报MEMORY_TARGET not supported on this system错
- Gokigen Naname UVA
- SQL基础之数据库快照
- 7.2