使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建

来源:互联网 发布:淘宝敲诈 编辑:程序博客网 时间:2024/04/19 11:51

今天小编将要使用Hadoop ,Nutch,Hbase,solr来搭建一个搜索引擎。在一台全新的centOS 系统上进行搭建,8核,16G内存,60G 系统盘,500G EOS 存储盘。

已经搭建好了Hadoop1.2.1,这篇将继续搭建Hbase-0.94.27。Hadoop1.2.1搭建:http://blog.csdn.net/shuaigexiaobo/article/details/77481391

Hbase-0.94.27的环境搭建

     Hbase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化
数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,hbase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。    HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。    HBase有三种模式:单机模式,伪分布式模式,完全分布式模式。下面介绍完全分布式安装。    HBase安装前需要安装Hadoop。    HBase安装步骤如下:
    (一)进入或者创建usr/local/hbase文件夹
    (二)使用如下命令 ,在hbase文件夹中获取hbase-0.94.27.tar.gz
    wget http://archive.apache.org/dist/hbase/hbase-0.94.27/hbase-0.94.27.tar.gz 
    (三)在hbase文件夹中解压Hbase-0.94.27.
    tar -xzvf hbase-0.94.27.tar.gz
    (四)修改目录权限
    sudo chmod 777 -R hbase
    (五)修改./conf/hbase-env.sh中的JAVA_HOME配置如下
    export JAVA_HOME=/usr/java/jdk1.6 
    并开启:    
    export HBASE_MANAGES_ZK=true
(六) 修改./conf/hbase-site.xml
    
<configuration>    <property>        <name>hbase.rootdir</name>        <value>hdfs://localhost:9000/hbase</value>    </property>    <property>        <name>hbase.cluster.distributed</name>        <value>true</value>    </property>    <property>        <name>hbase.zookeeper.property.dataDir</name>        <value>/data/hbase/zookeeper</value>    </property></configuration>
    (七) 进入lib , 删掉./lib/hadoop-core-1.0.4.jar并从hadoop拷贝
    cp /usr/local/hadoop/hadoop-1.2.1/hadoop-core-1.2.1.jar ./lib
    (八)启动Hbase
    启动hbase
        
(九)检验hbase正确启动
    执行./bin/Hbase shell启动终端并执行list结果如下:
hbase(main):002:0> listTABLE0 row(s) in 0.0170 secondshbase(main):003:0>

测试成功!


阅读全文
1 0