nutch +中文分词

来源：互联网发布：微博淘宝优惠券骗局编辑：程序博客网时间：2024/04/27 14:13

总结已知方法的缺点

job fild 原因

查看hoodap.log

1 内存设置不足-Xms800m -Xmx800m

2 NutchDocumentAnalyzer.java文件添加：importorg.wltea.analyzer.lucene.IKAnalyzer;将Importorg.apache.lucene.analysis.tokenattributes.PositionIncrementAttribute;改为importorg.apache.lucene.analysis.tokenattributes.*;（如果不改编译时会报错“找不到符号”，原因是新定义的几种Attribute未添加引用，此处将所有Attribute引用即可解决问题。在NutchDocumentTokenizer.java中需要进行同样的操作。）

3 在private static AnalyzerANCHOR_ANALYZER;后面加上

privatestatic Analyzer MY_ANALYZER;

在ANCHOR_ANALYZER =new AnchorAnalyzer();后面加上

MY_ANALYZER= new IKAnalyzer();

重写TokenStreamtokenStream方法：

publicTokenStreamtokenStream(StringfieldName, Reader reader) {

Analyzeranalyzer;

analyzer = MY_ANALYZER;

TokenStream tokenStream= analyzer.tokenStream(fieldName, reader);

tokenStream.addAttribute(TypeAttribute.class);

tokenStream.addAttribute(FlagsAttribute.class);

tokenStream.addAttribute(PayloadAttribute.class);

tokenStream.addAttribute(PositionIncrementAttribute.class);

return tokenStream;

｝