使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建
来源:互联网 发布:淘宝敲诈 编辑:程序博客网 时间:2024/04/19 11:51
今天小编将要使用Hadoop ,Nutch,Hbase,solr来搭建一个搜索引擎。在一台全新的centOS 系统上进行搭建,8核,16G内存,60G 系统盘,500G EOS 存储盘。
已经搭建好了Hadoop1.2.1,这篇将继续搭建Hbase-0.94.27。Hadoop1.2.1搭建:http://blog.csdn.net/shuaigexiaobo/article/details/77481391
Hbase-0.94.27的环境搭建
Hbase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,hbase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase有三种模式:单机模式,伪分布式模式,完全分布式模式。下面介绍完全分布式安装。 HBase安装前需要安装Hadoop。 HBase安装步骤如下:
(一)进入或者创建usr/local/hbase文件夹
(二)使用如下命令 ,在hbase文件夹中获取hbase-0.94.27.tar.gz
wget http://archive.apache.org/dist/hbase/hbase-0.94.27/hbase-0.94.27.tar.gz
(三)在hbase文件夹中解压Hbase-0.94.27.
tar -xzvf hbase-0.94.27.tar.gz(四)修改目录权限
sudo chmod 777 -R hbase(五)修改./conf/hbase-env.sh中的JAVA_HOME配置如下
export JAVA_HOME=/usr/java/jdk1.6并开启:
export HBASE_MANAGES_ZK=true
(六) 修改./conf/hbase-site.xml
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/data/hbase/zookeeper</value> </property></configuration>(七) 进入lib , 删掉./lib/hadoop-core-1.0.4.jar并从hadoop拷贝
cp /usr/local/hadoop/hadoop-1.2.1/hadoop-core-1.2.1.jar ./lib(八)启动Hbase
启动hbase
(九)检验hbase正确启动
执行./bin/Hbase shell启动终端并执行list结果如下:
测试成功!
执行./bin/Hbase shell启动终端并执行list结果如下:
hbase(main):002:0> listTABLE0 row(s) in 0.0170 secondshbase(main):003:0>
测试成功!
阅读全文
1 0
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Nutch2.2.1
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hadoop1.2.1搭建
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之搭建solr4.9.1
- 利用nutch、hbase和solr搭建搜索引擎
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎抓取并测试搜索结果
- nutch/solr/lucene//hadoop/hbase 搜索引擎
- [Nutch]Nutch2.3+Hadoop+HBase+Solr在Ubuntu环境搭建
- hadoop之HBase集群搭建及使用
- Hadoop之Hbase------>Hbase集群搭建
- Nutch + Solr + Hadoop 搭建分布式搜索引擎详细教程
- Hadoop,Hbase,nutch搭建过程遇到的问题
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- Hadoop、HBase搭建
- Hadoop- Zookeeper-Hbase搭建
- 【转载】hadoop/hbase 搭建
- hadoop hbase 搭建
- Hibernate API和.hbm.xml映射教程
- 观察者模式,适配器模式,策略模式
- 好玩的代码注释图 神兽保佑 代码无bug
- 使用python 发邮件
- 优化篇 03. 远程桌面传输文件 ❀ Windows Server 2016
- 使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建
- 【工作笔记】可自定义下拉选项的选择框
- 新创建的maven项目无法clean报错,提示在私服上找不到父包 'parent.relativePath' of POM com.tencent:weixin-web-base:[unknown-v
- 二级java程序设计--线程
- 【并查集模板】
- TalkingData T11 2017智能数据峰会用数据的心智去超越
- linux 编译运行 java
- LA -- 3708 Graveyard 【思维】
- 2017 Multi-University Training Contest