搭建企业Hbase笔记
来源:互联网 发布:关于网络文化的数据 编辑:程序博客网 时间:2024/06/01 09:51
- 实验环境搭建
架构:
namenode1(master1)
namenode2(master2)
datanode(regionserver)
查看、修改Linux系统的最大文件打开数和最大进程数
修改limits.conf文件
改为
调整Linux内核参数
- 安装zookeeper3.4.5
zk配置
先创建data目录
拷贝一份zoo.cfg出来
修改zoo.cfg里面的配置项
配置环境变量
将zookeeper文件夹拷贝给另外两台机器
在本机上的zookeeper文件夹内写入id
- Hbase的安装、配置
安装hbase-0.98.1-hadoop2-bin.tar.gz软件包
配置hbase-env.sh
在hbase文件夹下创建pids,logs文件夹
修改环境变量,添加
修改hbase-site.xml
添加regionserver节点主机名
复制hdfs-site.xml到conf目录下
添加备用Hmaster节点主机名
vim backup-masters
创建hbase的缓存文件目录
同步hbase工作目录到集群其它节点
在各节点上修改用户环境变量并使其生效
启动集群
- HDFS、HBase动态替换节点
Hadoop、HBase动态增加节点
1.增加Hadoop节点
新节点的IP配置,用户创建,核对时间,修改最大文件读取数、最大用户进程数和内核参数,SSH免密码登录配置等
配置hosts文件,添加主机名和IP地址,且同步到其它节点 修改hadoop的配置文件slaves,添加新节点的主机名
复制JDK和hadoop目录到新的节点(注意新节点的hadoop的data、pids等目录需要清除数据)
新节点hadoop权限的修改
修改新节点的环境变量
在新节点中通过命令Hdfs dfsadmin –setBalancerBandwidth设置字节数、带宽,通过命令start-balancer.sh -threshold 5均衡当前的HDFS块 (threshold是平衡阈值,默认是10%,值越小负载越均衡,但需要更长的时间去执行)
在新节点通过命令hadoop-daemon.sh start datanode和yarn-daemon.sh start nodemanager启动datanode和nodemanager进程
2.增加HBase节点
在HBase的配置文件regionserver中添加新节点的主机名
复制hbase目录到新的节点(注意新节点的data等目录也需要清除数据)
在新节点通过命令hbase-daemon.sh start regionserver启动HRegionServer
在新节点上通过hbase-daemon.sh start regionserver启动regionserver
进入hbase shell,通过命令balance_switch true进行region负载平衡
Hadoop、HBase动态删除节点
1.删除HBase节点
通过‘graceful_stop.sh 节点名’使得需要删除的节点的负载均衡停止使用
在HBase的配置文件regionserver中移除删除节点的主机名
2.删除Hadoop节点
在hadoop的配置文件hdfs-site.xml中添加配置:
<property>
<name>dfs.hosts.exclude</name>
<value>/home/hadoop/apache/hadoop-2.6.0/etc/hadoop/exclude</value>
</property>
在配置文件exclude中添加需要删除的节点主机名
通过命令hdfsafsadmin -refreshNodes执行节点刷新操作,重新加载配置
通过命令hadoop dfsadmin –report查看集群状态
- 搭建企业Hbase笔记
- 搭建企业Hbase
- 搭建企业Hbase
- [笔记]Hbase入门集群搭建
- 大数据实战(下)-搭建企业HBase(上)
- 【HBase企业应用开发】工作中自己总结的Hbase笔记,非常全面!
- hbase搭建
- 搭建hbase
- 搭建hbase
- hbase搭建
- Hbase搭建
- Hadoop之——HBase集群搭建笔记(补充)
- hbase笔记
- hbase笔记
- HBase 笔记
- HBase笔记
- Hbase 笔记
- hbase笔记
- MyBatis之传入参数——parameterType(转)
- MySQL学习笔记
- Android四大组件之Activity的生命周期
- 简单RPC实现之Netty实现
- lua中的特殊语法
- 搭建企业Hbase笔记
- c#/.net操作word插入表格实例
- HttpServletResponse之输出流
- 多线程实现方式
- QT5之exe发布及dll打包
- Java并发编程:线程池的使用
- 通过源码分析,修改AlertDialog按钮的颜色
- java,lang.Void类
- 文章标题