hadoop分布式安装hbase
来源:互联网 发布:ubuntu查看gpu 编辑:程序博客网 时间:2024/06/05 10:21
1 环境软件简介
hadoop2.6
zookeeper3.3.6
openSUSE 操作系统
前提:Hadoop zookeeper已经安装完毕~
下载hbase hbase-1.1.10-bin.tar.gz(去官网下载就好了~)
解压,并将hbase的文件夹放到/usr/local/文件夹下
2配置hbase
2.1 配置hbase-env.sh文件
- 进入到hbase-1.1.10/conf目录下,vi ./hbase-env.sh打开文件
- export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64 #java安装目录
- export HBASE_LOG_DIR=/home/hadoop2/softwares/hbase-1.1.10/logs #Hbase日志目录
- export HBASE_MANAGES_ZK=false #如果使用HBase自带的Zookeeper值设成true 如果使用自己安装的Zookeeper需要将该值设为false
- 注意:java_home是系统安装的jdk的实际路径,HBASE_LOG_DIR是hbase第一步中hbase的解压目录,目录下默认是没有logs文件的(不用自己新建,安装过程中会自动新建)
- export HBASE_PID_DIR=/usr/local/hbase-1.1.10/logs #指定pid的目录,
2.2 配置hbase-site.xml文件
进入到hbase-1.1.10/conf目录下,vi ./hbase-site.xml打开文件
在 <configuration> </configuration> 中添加如下内容:
- <configuration>
- <property>
- <name>hbase.cluster.distributed</name>
- <value>true</value>
- </property>
- //Here you have to set the path where you want HBase to store its files.
- <property>
- <name>hbase.rootdir</name>
- <value>hdfs://localhost:8030/hbase</value>
- </property>
- //Here you have to set the path where you want HBase to store its built
- in zookeeper files.
- <property>
- <name>hbase.zookeeper.property.dataDir</name>
- <value>/usr/local/zookeeper-3.3.6/var/data</value>
- </property>
- <property>
- <name>hbase.zookeeper.quorum</name>
- <value>master,slave01</value>
- </property>
- </configuration>
- hbase.rootdir指定Hbase数据存储目录
- hbase.cluster.distributed 指定是否是完全分布式模式,单机模式和伪分布式模式需要将该值设为false
- hbase.master指定Master的位置
- hbase.zookeeper.quorum 指定zooke的集群,多台机器以逗号分隔
2.3 配置regionservers文件
进入到hbase-1.1.10/conf目录下,vi ./regionservers打开文件,修改文件内容如下图所示
master
slave01
文件中保存的是hadoop集群的 namenode节点和datanode节点的主机名,需要根据实际情况修改。
2.4 修改hadoop的配置文件hdfs-site.xml(选填,此次没有执行)
进入到hadoop的配置文件目录,vi ./hdfs-site.xml打开文件。
在文件中添加一下内容
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,hadoop-defaults.xml中通常不设置这个参数。这个限制看有些偏小。
注意:这一步需要在hadoop集群的所有主机上都执行该操作。
2.5 将Hbase拷贝到所有节点
scp -r hbase-1.1.10 hadoop@slave01:/usr/local/
注意:如果权限不足,换成scp -r hbase-1.1.10hadoop@slave01:/usr/local/ 然后去slave01机器上更改hbase-1.1.10的拥有者~
3 验证
3.1 启动Hbase
启动顺序: hadoop->zookeeper->hbase。停止顺序与启动顺序正好相反
启动hadoop 略~
启动 zookeeper #/usr/local/zookeeper-3.3.6/bin/zkServer.shstart
注意:zookeeper需要在master和slave01上都启动一下,hadoop和hbase只需要在master上启动一下就OK
启动 Hbase #进入hbase的bin目录,执行 ./start-hbase.sh
3.2验证
3.2.1 master节点master1显示如下进程:
slave01节点显示如下进程:
3.2.2 在master节点进入到hbase的bin目录下,运行./hbase shell
出现如下图所示结果,表示hbase安装成功。
3.2.3 在master节点用浏览器访问:http://master:16030可以看到hbase的管理页面
注意:hbse1.0以前端口是60010。hbase1.0以后端口是16030.
参考资料来源:http://blog.csdn.net/gyqjn/article/details/49402769
- hadoop分布式安装hbase
- 安装hadoop+hbase伪分布式
- hadoop完全分布式安装HBase
- Hadoop+HBase完全分布式安装
- Hadoop+HBase完全分布式安装
- Hadoop+HBase完全分布式安装
- [Hadoop]Hadoop+HBase 伪分布式安装配置
- Hadoop分布式搭建、Hbase安装、Hive安装
- hadoop+hbase 伪分布式安装配置
- Hadoop+HBase 伪分布式安装配置
- Hadoop HBase 伪分布式安装 配置
- Hadoop HBase 伪分布式安装 配置
- hadoop和hbase分布式安装详细过程
- hadoop备战:hbase的分布式安装经验
- 分布式安装HBase 1.0(Hadoop 2.7)
- Hadoop完全分布式集群安装Hbase
- Hadoop完全分布式集群安装Hbase
- Hbase笔记四:Hbase基于Hadoop的完全分布式安装
- VB6.0 读写excel表格/dat文件并保存
- 关于架构的一点点思考
- iOS CocoaPods使用详细说明
- 有关Java编写GUI界面的文件读取和保存操作
- Android 多击事件
- hadoop分布式安装hbase
- spark多文件输出
- PrintWriter输出到页面中呈现乱码现象解决方案
- Builder(建造者模式)
- AngularJS中$http服务的简单用法
- 欢迎使用CSDN-markdown编辑器
- 魅族推荐平台的架构演进之路
- QT学习笔记:窗口部件
- 如何在Linux VPS上定制自己的Bash Prompt