YARN(Hadoop)学习笔记(5)
来源:互联网 发布:棘轮软件 编辑:程序博客网 时间:2024/05/29 10:38
单结点Hbase搭建
1.下载Apache Hbase的Hbase-0.9*.tar.gz文件
需要注意的是Hbase的版本需要考虑和Hadoop(YARN)版本,如果版本不兼容可能会运行出错。
我的10集群上的运行的是hadoo一代的hadoop-0.20。第一次安装的Hbase是0.98的,结果在运行start-hbase.sh后没有运行出错的log提示,但是通过jps命令无法查看到相关的Hbase进程,并且通过http://10.10.108.10:60010也不能登录网页。之后部署0.92的就没有这个问题。
2.Hbase集群需要有结点server之间有很强的时间同步,需要通过Zookeeper进行协调,所有在部署HBase之前需要事先部署Zookeeper。
不过由于目前部署的是单结点集群,可以不部署Zookeeper。
3.设置全局的变量,环境变量
在/etc/profile/中,export如下变量。我的服务器的部署是这样的:
exportHBASE_HOME=/usr/intern/hbase-0.92
exportPATH=$HBASE_HOME:$PATH:$HBASE_HOME/bin
4.解压Hbase-0.92.tar.gz之后,目录下有bin,conf,hbase_webapps,lib等目录。
conf下存放了配置hbase的相关文件,比如hbase-site.xml,hbase-env.sh
bin下存放的是相关的shell脚本文件,比如启动hbase集群的start-hbase.sh和关闭hbase集群的stop-hbase.sh
lib是存放hbase的库文件。
5.指定hbase的数据存放目录。默认的情况下是在/tmp目录下存放这些数据,不过据有关资料说明,这个目录不能长期保持数据,但我自己没有测试和遇见过,那还是做些修改吧。
指定hbase数据存放的目录是通过变量hbase.rootdir定义的,配置文件在HBASE_HOME/conf下的hbase-site.xml。下面是我的定义
<configuration>
<property>
<name>hbase.rootdir</name>
<value>/usr/intern/tmp/hbase</value>
</property>
</configuration>
6.如果是hbase的集群配置还需要在hbase-site.xml中添加其他的变量,不过由于部署的是单结点,目前就不添加了。等将来部署Hbase集群时再进行补充。
7.配置hbase环境文件hbase-env.sh。添加JAVA_HOME,HADOOP_HOME和HBASE_HOME
下面是我的配置
export JAVA_HOME=$JAVA_HOME
export HADOOP_HOME=$HADOOP_HOME
export HBASE_HOME=$HBASE_HOME
8.配置完成后就可以启动了。在启动之前需要先启动Hadoop集群。
启动Hbase的方式是执行HBASE_HOME/bin下的start-hbase.sh
9.启动后可以通过JPS查看
如果是正常启动会有HMaster进程。通过访问http://10.10.108.10:60010也可以查看的到。
- YARN(Hadoop)学习笔记(5)
- YARN(Hadoop)学习笔记(2)
- YARN(Hadoop)学习笔记(1)
- YARN(Hadoop)学习笔记(3)
- YARN(Hadoop)学习笔记(4)
- YARN(Hadoop)学习笔记(6)
- hadoop yarn 学习笔记(一)
- Hadoop学习笔记(四)YARN
- hadoop学习笔记 YARN
- 菜鸟的Hadoop (Before YARN) 学习笔记 (一) WordCount
- Hadoop学习笔记 --- YARN架构学习
- [Big Data]菜鸟的Hadoop (Before YARN) 学习笔记 (一) WordCount
- hadoop新MapReduce框架yarn学习笔记
- Hadoop学习笔记 --- YARN工作原理
- hadoop学习笔记之深入了解YARN
- Hadoop学习笔记十二 YARN基础知识
- Spark-on-YARN (来自学习笔记)
- 大数据学习笔记(三)-Yarn
- 第九周项目6-穷举法解决组合问题
- android.graphics.Bitmap.Config<ALPHA_8, ARGB_4444,ARGB_8888,RGB_565>
- 文档翻译第002篇:Process Monitor帮助文档(Part 2)
- Icosian 曼哈顿回路
- Mybatis3 返回布尔值
- YARN(Hadoop)学习笔记(5)
- iOS应用性能调优的25个建议和技巧
- 金色十月线上编程比赛第二题:解密 csdn
- C++中C/C++格式化输出
- WeakReference与SoftReference
- error: invalid operands of types ‘double’ and ‘double’ to binary ‘operator^’
- BZOJ 2818: Gcd
- android个人学习笔记-触摸事件机制
- 台间谍策反大陆学生个人资料曝光 国人应该如何防间谍