Nutch-2.2.1学习之三Nutch配置文件
来源:互联网 发布:python sys.exit(1) 编辑:程序博客网 时间:2024/06/05 03:30
Nutch2.2.1的配置文件存放在Nutch目录下的conf文件夹下,对此文件夹下的配置文件做的修改,需要执行ant命令重新编译Nutch,由于编译所依赖的jar都已经缓存,重新编译花费的时间是很短暂的。对该文件夹下的文件所做的修改,在重新编译后也会更新到runtime目录下的deploy和local目录下的conf目录中,所以大家不要奇怪,明明只是修改了根目录下的conf中的配置文件,local和deploy目录中的配置文件也做了相同的修改。现在就来看看conf目录下有哪些重要的配置文件。
Conf目录下的文件有:automaton-urlfilter.txt、gora-accumulo-mapping.xml、hbase-site.xml、nutch-site.xml、regex-urlfilter.txt、suffix-urlfilter.txt、 configuration.xsl、gora-cassandra-mapping.xml、httpclient-auth.xml、parse-plugins.dtd、schema-solr4.xml、domain-suffixes.xml、gora-hbase-mapping.xml、log4j.properties、parse-plugins.xml、schema.xml、domain-suffixes.xsd、gora.properties、nutch-conf.xsl、prefix-urlfilter.txt、solrindex-mapping.xml、domain-urlfilter.txt、gora-sql-mapping.xml、nutch-default.xml、regex-normalize.xml、subcollections.xml。
在这些文件中以txt结尾的文件用于定义爬取网页时的过滤规则,比如正则表达式过滤、前缀过滤、后缀过滤等,有些文件是用于solr索引的,比如schema-solr4.xml、schema.xml等,对于刚开始学习Nutch的人(包括自己),比较重要的文件有三个:nutch-site.xml、gora.properties、nutch-default.xml。nutch-default.xml保存了Nutch所有可用的属性名称及默认的值,当需要修改某些属性值时,可以拷贝该文件中的属性到nutch-site.xml中,并修改为自定义的值。不做任何配置修改的情况,文件nutch-site.xml不包含任何属性和属性值,该文件用于保存用户调整Nutch配置后的属性。gora.properties用于配置Gora的属性,由于Nutch2.x版本存储采用Gora访问Cassandra、HBase、Accumulo、Avro等,需要在该文件中制定Gora属性,比如指定默认的存储方式gora.datastore.default= org.apache.gora.hbase.store.HBaseStore,该属性的值可以在nutch-default.xml中查找storage.data.store.class属性取得,在不做gora.properties文件修改的情况下,存储类为org.apache.gora.memory.store.MemStore,该类将数据存储在内存中,仅用于测试目的。本人在学习Nutch2.2.1的过程中,存储使用了HBase,所以在gora.properties中添加了gora.datastore.default=org.apache.gora.hbase.store.HBaseStore,在nutch-site.xml中添加了
<property> <name>storage.data.store.class</name> <value>org.apache.gora.hbase.store.HBaseStore</value> <description>Defaultclass for storing data</description></property>
做完这些修改后,还要修改ivy目录下的ivy.xml文件,下载依赖的jar包,找到这段代码<dependencyorg="org.apache.gora" name="gora-core" rev="0.3"conf="*->default"/>,在其下方定义了不同存储方式所依赖的jar包,使用某一特定存储时,去掉注释即可,比如<dependency org="org.apache.gora"name="gora-hbase" rev="0.3" conf="*->default"/>,这样就可以下载HBase相关的jar包。做完这些修改后,在Nutch主目录下执行ant命令,重新编译。
- Nutch-2.2.1学习之三Nutch配置文件
- Nutch-2.2.1学习之九Nutch过滤URL实践
- Nutch-2.2.1学习之一Nutch简介
- Nutch-2.2.1学习之一Nutch简介
- Nutch学习笔记三
- Nutch-2.2.1学习之二编译部署Nutch及常见问题
- Nutch-2.2.1学习之四Nutch与Hbase结合使用时常见问题
- Nutch-2.2.1学习之五Nutch抓取数据在HBase中的存储
- Nutch-2.2.1学习之六以伪分布模式运行Nutch
- Nutch-2.2.1学习之七Nutch与Solr的集成
- Nutch-2.2.1学习之八过滤抓取数据
- (1)nutch加载配置文件
- Nutch-2.2.1----Nutch过滤URL实践
- Nutch 快速入门(Nutch 2.2.1)
- Nutch 快速入门(Nutch 2.2.1)
- Nutch 快速入门(Nutch 2.2.1)
- 学习Nutch
- 学习nutch
- eclipse常用配置
- ctypes
- 瑞友天翼应用虚拟化系统V6.0之虚拟磁盘管理
- 自定义UITableViewCell
- Codeforces Round #215 (Div. 2) -B. Sereja and Suffixes
- Nutch-2.2.1学习之三Nutch配置文件
- 代理上网发送邮件
- 如何学习框架
- 程序员面试题精选100题(06)-二元查找树的后序遍历结果[数据结构]
- 数据可视化(全彩)(大数据丛书,首次全面细致地梳理了可视化理论,方法、工具与应用案例。马匡六教授、石教英教授鼎力推荐,十二五国家重点图书出版规划项目)
- android获取、计算文件夹和文件大小的方法
- servlet
- OpenGL在vs2008上的具体设置
- 虚构造函数和析构函数