Nutch:skipped. Content of size 91280 was truncated to 59131

来源:互联网 发布:相册软件哪个好 编辑:程序博客网 时间:2024/06/05 22:50

Nutch在抓取数据时出现以下报错:

xxx skipped. Content of size 91280 was truncated to 59131
错误原因:

配置文档中限制了文档的最大字节长度

解决方案:

打开nutch根目录下conf文件夹下的nutch-size.xml
找到
<name>file.content.limit</name>
  <value>65536</value>
将value值改大一点,例如6553600
找到
<property>
  <name>parser.skip.truncated</name>
  <value>true</value>
将value值改成false,改完记得重新ant编译

0 0
原创粉丝点击