hadoop集群安装hbase
来源:互联网 发布:php调用父类的属性 编辑:程序博客网 时间:2024/04/30 22:08
1.首先我已搭建好hadoop2.2.0分布式集群、zookeeper3.4.6集群
hadoop2.2.0集群:http://blog.csdn.net/xiaolinzi007/article/details/40921581
zookeeper3.4.6集群:http://blog.csdn.net/xiaolinzi007/article/details/41282221
2.准备hbase压缩包,我使用的是hbase-0.96.2-hadoop2-bin.tar.gz,下载网址http://hbase.apache.org/
3.在hdfs上为hbase创建数据存储目录,启动HDFS集群实例,并创建目录/hbase,在master上执行
>start-dfs.sh
>hadoop fs -mkdir /hbase
4.解压缩hbase压缩包,并重命名为hbase:
>tar zvxf hbase-0.96.2-hadoop2-bin.tar.gz
>mv hbase-0.96.2-hadoop2 hbase
5.修改配置文件:
>vi /etc/profile 【添加如下内容】
export HBASE_HOME=/usr/hadoop/hbase
export PATH=$PATH:/usr/hadoop/hbase/bin
>source /etc/profile
注意: 在所有hbase节点上都要执行以上两步,将hbase添加到环境变量中
>vi hbase/conf/hbase-env.sh 【添加如下内容】
export JAVA_HOME=/usr/java/jdk1.7.0_25
export HBASE_CLASSPATH=$HBASE_HOME/
export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
export HBASE_HEAPSIZE=128export HBASE_MANAGES_ZK=false
>vi hbase/conf/hbase-site.xml 【添加如下内容】
<configuration>
<property><name>hbase.rootdir</name><value>hdfs://master:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/usr/hadoop/storage/zookeeper-3.4.6/data</value></property><property><name>hbase.zookeeper.quorum</name><value>master,slave1,slave2</value></property>
</configuration>
>vi hbase/conf/regionservers 【添加如下内容】
slave1
slave2
6.为保证HBase的lib中的hadoop版本和HDFS集群使用的版本一致,我的$hbase_home为:/usr/hadoop/hbase:
(1)删除hbase/lib/中的hadoop-*.jar
>rm /usr/hadoop/hbase/lib/hadoop-*.jar
(2)hadoop2.2.0依赖的jar都在hadoop-2.2.0/share/hadoop目录下分类放置,复制hadoop中依赖的jar到hbase/lib中,我的$hadoop_home为:/usr/hadoop/hadoop-2.2.0
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/common/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/common/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/hdfs/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/tools/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/yarn/hadoop-*.jar /usr/hadoop/hbase/lib/
>cp /usr/hadoop/hadoop-2.2.0/share/hadoop/yarn/lib/hadoop-*.jar /usr/hadoop/hbase/lib/
7.重命名hbase下的hbase-webapps 目录为webapps:
>mv hbase-webapps webapps
8.将配置好的hbase复制到其他机器:
>scp -r /usr/hadoop/hbase/ root@slave1:/usr/hadoop/
>scp -r /usr/hadoop/hbase/ root@slave2:/usr/hadoop/9.启动hbase集群,确保hdfs启动和zookeeper启动,在master上启动hbase:
>./hbase/bin/start-hbase.sh
10. 查看master和slave上启动的进程:
(1)master:
>jps
(2)slave1:
>jps
(3)slave2
>jps
11.验证集群是否安装成功,看是否能进入hbase shell:
>hbase shell
0 0
- hadoop集群安装hbase
- <Hadoop>HBase 集群安装
- hadoop hbase hive 集群安装
- hadoop、zookeeper、hbase集群安装
- HBase集群安装-1 Hadoop安装
- hadoop 集群安装(三) hbase安装
- hadoop+hbase+zookeeper集群安装方法
- 编译运行HBase源码,安装hadoop集群
- hadoop,zookeeper, hbase集群的批量安装
- hadoop & hbase 集群安装&启动常见问题解决
- hadoop+hbase+zookeeper集群安装方法
- Hadoop集群之Hbase安装配置
- CentOS 6.5安装Hadoop+HBase+ZooKeeper集群
- Hadoop+Hbase+ZooKeeper集群安装方法
- hadoop、zookeeper、hbase安装配置集群
- Hadoop完全分布式集群安装Hbase
- Hadoop完全分布式集群安装Hbase
- Hadoop+Hbase+Spark集群配置-Hbase HA安装
- AD9所有过孔盖绿油&工程下的原理图重命名
- error no such file or directory 错误解决方式
- C# 中的委托和事件
- 浅析http协议、cookies和session机制、浏览器缓存
- ios学习--ios将摄像头捕获的视频数据转为jpeg格式
- hadoop集群安装hbase
- jenkins添加网页链接方法
- Experience for training model
- 使用bcdedit修改TFTP传输blksize和windowsize以加快PXE启动速度
- C++指针详解
- 大众点评网平台架构组高级工程师 hadoop 应用案例
- QT子线程与主线程的信号槽通信
- spring-mvc 开启注解
- hadoop 的MapReduce原理和学习心得