WebMagic无法输出抓取到的数据和文件
来源:互联网 发布:ceic数据库与wind 编辑:程序博客网 时间:2024/06/05 10:39
开始学习爬虫软件WebMagic,执行GithubRepoPageProcessor时,在控制台输出不了取到的网页数据,用JsonFilePipeline也无法在指定目录输出Json文件。
被这个问题烦了一天,网上也找不到相关的问题,期间试了切换JAVA的版本,改变jar包的顺序,都无果。
中间发现关联源代码工程webmagic-core和webmagic-extension可以,直接导入jar包不行。
自己的Maven工程里原先在pom.xml里只加了webmagic-extension依赖,后来把下面的依赖加上可以输出日志。
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-core</artifactId>
<version>0.5.3</version>
</dependency>
然后不用maven工程直接导入所有jar包却不行,于是我一个个比较两个工程的jar包,发现jsoup和xsoup的jar包版本不一样,最后尝试了下,锁定了jsoup-1.7.2.jar有问题,
使用jsoup-1.8.3.jar就可以输出日志和文件。webmagic改回0.5.2的jar包照样OK。但是不知道为什么这个是0.5.3版本才升级了Jsoup到1.8.3,以前别人是怎么用的???
被这个问题烦了一天,网上也找不到相关的问题,期间试了切换JAVA的版本,改变jar包的顺序,都无果。
中间发现关联源代码工程webmagic-core和webmagic-extension可以,直接导入jar包不行。
自己的Maven工程里原先在pom.xml里只加了webmagic-extension依赖,后来把下面的依赖加上可以输出日志。
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-core</artifactId>
<version>0.5.3</version>
</dependency>
然后不用maven工程直接导入所有jar包却不行,于是我一个个比较两个工程的jar包,发现jsoup和xsoup的jar包版本不一样,最后尝试了下,锁定了jsoup-1.7.2.jar有问题,
使用jsoup-1.8.3.jar就可以输出日志和文件。webmagic改回0.5.2的jar包照样OK。但是不知道为什么这个是0.5.3版本才升级了Jsoup到1.8.3,以前别人是怎么用的???
0 0
- WebMagic无法输出抓取到的数据和文件
- 同时输出数据到标准输出和文件
- 重载printf输出到屏幕和文件
- C++输出内容到控制台和文件
- python输出日志到控制台和文件
- logback输出到控制台和文件--配置
- linux -- 如何将系统命令或脚本的输出同时输出到屏幕和文件呢
- bat 获取所有文件夹和文件的名称 输出到txt中
- Ibatis log4j实现输出sql 到控制台和文件
- cygwin中把编译信息输出到屏幕和文件
- Log4j 2 同时输出日志到控制台和文件
- 输出日志到控制台和文件(Java项目)
- tee 一个linux下把数据同时写到屏幕和文件的常用工具
- 数据和文件操作
- 天气预报程序-抓取和文件读写
- 递归输出给定目录下的所有目录和文件
- 输出文件夹中java文件的路径和文件数目
- AWK的格式化输出和文件中的AWK
- js鼠标右键的方法
- 如何在present出来的viewController里使用push方法
- 使用Android Studio阅读整个Android源码
- 计算机网络——1.计算机网络基础
- 【BZOJ1001】【Beijing2006】狼抓兔子(平面图转对偶图:最小割+最短路)
- WebMagic无法输出抓取到的数据和文件
- JNI 1
- C++除法取整
- spring中@param和mybatis中@param使用区别
- 创意杯子该怎么选择
- 编程书籍推荐
- Android解析Intent协议并打开程序
- android txt文件名listview item 点击并传值
- android中修改framework层代码后怎样操作才能看到修改后的效果?