nutch2.x在eclipse+windows环境下运行遇到的一些问题的解决方案

来源：互联网发布：淘宝直播开蚌是真的吗编辑：程序博客网时间：2024/05/21 18:45

1、问题 permission /tmp/hadoop....

解决方法：下载hadoop源码包，修改org.apache.hadoop.fs.FileUtil.java文件中方法checkReturnValue内容。将异常改为log。用意：不在检测文件系统路径问题

private static void checkReturnValue(boolean rv, File p,

FsPermission permission

) throws IOException {

if (!rv) {

LOG.debug("Failed to set permissions of path: " + p +

" to " +

String.format("o", permission.toShort()));

}

替换过程：(一个朋友也在eclipse下面搞的，然后就替换了，但是还抱了个错，原因是把jar包直接放到了项目的Liberty下，所以我在这儿添加了替换过程。)

在eclipse下面不是简单的添加到Liberaries下面就可以的。eclipse下项目使用的是ivy这个插件对jar包进行的管理，所以所有第三方jar的引入都是ivy的工作。

ivy有一个存放jar文件的默认路径，可修改，至于如何修改我就不在这儿阐述了，这个默认路径是C:\Documents and Settings\Administrator\.ivy2\cache，

所以我们替换hadoop的jar包的时候也修改在这儿替换，这儿替换有两种方法：

一种是直接打开hadoop目录下的jar目录，然后替换掉项目使用的那个版本的jar（查看项目下的ivy.xml可知），

并将替换后的jar文件的名称修改为之前的那个jar的名称。

另一种就是像其他jar文件一样，有哪些文件就复制哪些文件，然后把文件名都修改为我们重新编译后的jar的文件名，把我们重新编译后的jar放到jar文件夹下面。

注意重新编译hadoop后需要提取的jar的路径，别取错了。一定是build目录下的。

此问题只在nutch2.2中存在，2.1中配置文件ivy.xml已经做了依赖配置，所以不会出现这个问题。

此类问题还有com.healthmarketscience.sqlbuilder.dbspec.Column找不到。

解决方法：配置ivy.xml,将下面一行的注释去掉。

原因：gora.properties文件中的属性值不能有任何空格，否则出现莫名其妙的问题。nutch的容错机制不太严谨。

解决方法：查看gora.properties文件属性值，是否配置有问题，尤其空格。严格排查。没行的前后空格都不行。我因为这个空格导致我搞了2天，真扯。。

刚开始搭建，类似问题出现的频率最多，出现类似这样的问题我们第一想到的应该是hadoop.log这文件，而不是只看控制台。通过hadoop.log日志记录文件具体问题具体对待。下面这个解决方法只是我遇到的一个问题的权宜之计，只供参考。不要误导大家。

总结：此类问题一般是因为程序捕获到了异常，然后异常中断job后出现的。只要从hadoop.log中找到具体的问题所在，一般不会有什么问题。

解决方法：两种。

1).nutch-site.xml中取消对plugin的配置。不要使用插件的时候不会报错，可能其中某些插件存在问题。这种情况在ant之后执行runtime/local/bin下的nutch时可排除。

2).nutch2.2要修改掉ivy.xml中的gora-core依赖包的版本，修改为0.2.1

这个问题才是真正导致上面第5个问题的直接原因。问题描述是在hadoop.log中看到的。

解决方法：运行参数vm arguments 添加：-Xms800m -Xmx800m

这个错是一个朋友测试nutch的时候遇到的。类似这样的问题，看看是不是插件中的类，如果是nutch插件中的类，可以肯定这些错是因为没有找到插件的原因。

解决方案：build项目之后，必须把项目的根目录下面的build文件夹复制到项目的根目录下面。然后刷新eclipse中的项目。然后还需要修改一个配置参数。

nutch-site.xml中修改plugin.folders这个属性的属性值。如下：

plugin.folders

./plugins

阅读全文

0 0