您的位置:首页 > 其它

Nutch:skipped. Content of size 91280 was truncated to 59131

2016-06-10 22:55 369 查看
Nutch在抓取数据时出现以下报错:

xxx skipped. Content of size 91280 was truncated to 59131错误原因:
配置文档中限制了文档的最大字节长度

解决方案:

打开nutch根目录下conf文件夹下的nutch-size.xml
找到
<name>file.content.limit</name>
  <value>65536</value>
将value值改大一点,例如6553600
找到
<property>
  <name>parser.skip.truncated</name>
  <value>true</value>
将value值改成false,改完记得重新ant编译
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  nutch