Nutch 1.0在windows下的免cygwin运行--目前无解
来源:互联网 发布:英格拉姆全明星后数据 编辑:程序博客网 时间:2024/04/28 03:17
多数资料介绍的Nutch在Windows下的安装和使用都是使用cygwin,如搜索排名很靠前的这篇Nutch在Windows中安装之细解,实际上有些文不对题,主要讲了cygwin的安装。这篇Nutch 0.8笔记--Google式的搜索引擎实也是,我想nutch是基于纯java的,应该和操作系统平台无关,windows下安装cygwin实际上是构建了一个linux运行环境层,不是一个好的解决办法。后来又搜索到了下面的方法--免cygwin运行nutch。
下载了Nutch 1.0 在windows 2003下安装测试,出现java异常,仔细分析,都是些IO异常,主要是调用Unix命令错误,如“bash”、“chmod”错误,判断这些错误原因是没有安装cygwin。
经过查找资料,原来Nutch使用了Apache的另外一个开源项目Hadoop做底层分布式计算处理,而Hadoop主要是在linux上研制和部署的,没有考虑在windows上部署的问题,而且Hadoop和操作系统及文件系统关系密切,java源码里有很多调用linux的shell命令的地方,经过查看源码,其中就包括“bash”、“chmod”、“df”等shell命令。
下面的链接是高手解决Hadoop调用DF命令的问题,使Hadoop可以在Windows上部署的方法:
https://issues.apache.org/jira/browse/HADOOP-33?%20page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
但看来应该只适用于低版本的Hadoop,高版本的Hadoop涉及到的shell命令更多,要想在windows部署,需要修改的源码太多,而且要想修改Hadoop的源码,开发环境也需要安装cygwin,据说是ANT要用到sed命令,否则无法完成构建。就源码看,Nutch本身并不涉及linux环境问题。但好像还没有Nutch脱离Hadoop运行的办法,而且Hadoop是Nutch的核心模块,如果脱离了Hadoop,Nutch可能也不称其为Nutch了。
我试着修改了一下源码,主要涉及的代码在JobClient.java、UnixUserGroupInformation.java、Shell.java中,最终还是放弃了。
这个问题看来目前是无解了。
- Nutch 1.0在windows下的免cygwin运行--目前无解
- 转载:Windows下免cygwin运行Nutch
- nutch 1.0在Windows下的安装
- 【Nutch-1.0】Windows下解决nutch-1.0的Web前端搜索无结果
- nutch 0.9在Windows下的安装
- nutch 0.9在Windows下的安装
- nutch在windows下的配置
- Windows下安装Hadoop(免cygwin)
- 不安装cygwin而只在windows下运行bundler
- CygWin在windows下的安装步骤
- Windows下调用nutch的脚本,可实现自动运行
- windows下部署cygwin,模拟linux环境安装nutch搜索引擎
- nutch环境配置在windows系统上(借助Cygwin)
- Windows下Eclipse中免Cygwin的NDK(JNI)配置及Demo调试
- Windows下Nutch的配置
- Windows下Nutch的配置
- Windows下Nutch的使用
- 在Eclipse下编译和运行Nutch
- print message to debug output window (VS)
- java使用通配符简化泛型使用
- Terracotta 3.2.1简介 (一)
- (转)自定义Android组件之带图像的TextView
- 嵌入式内功.葵花宝典
- Nutch 1.0在windows下的免cygwin运行--目前无解
- IIS安装
- IT人的学习方法论(全)
- 视频测试序列的下载地址
- Google protocol buffer程序书写
- SmartGWT I18N 国际化
- IT管理所遇到的问题收集(硬件篇)
- typedef用法小结
- windows消息队列