Hbase 笔记(12) 集群管理
来源:互联网 发布:淘宝联盟没有跟踪返利 编辑:程序博客网 时间:2024/05/21 17:25
1、减少节点
减少:graceful_stop.sh VA128
系统会把region从对应服务器上移出去,减少扰动。
重新启动节点: hbase-daemon.sh start regionserver
2、滚动重启
使用 hbase hbck 可以确认集群数据的一致性(meta 表)
3、新增服务器
添加备份hmaster:
(1). 方法1:修改 backup-masters 文件, 添加机器名
(2) 方法2:使用命令 hbase-daemon.sh start master --backup
添加新的region server:
(1). 方法1:修改regionservers 文件
(2) 方法2:使用命令 hbase-daemon.sh start regionserver
4、导入、导出数据
Hbase 包自带工具
导出命令:hadoop jar ./hbase-0.94.24.jar export testtable /user/admin/testtable
导入命令:hadoop jar ./hbase-0.94.24.jar import testtable /user/admin/testtable
5、CopyTable 工具
用于主从集群之间的复制
hadoop jar ./hbase-0.94.24.jar copyTable --new.name=testtable2 testtable
6、批量导入
方法1:MapReduce 方法
方法2:hadoop jar ./hbase-0.94.24.jar importtv
hadoop jar ./hbase-0.94.24.jar completebulkload
7、复制
配置hbase.replication 为true
然后使用命令:
add_peer '1', 'server2:2181:/hbase2'
start_replication
stop_replication
remove_peer '1'
确认复制:
hadoop jar ./hbase-0.94.24.jar verifyrep
8、集群共存
为了测试,可让让两个不同的HBase实例运行在同一个物理机器上。
9、改变日志级别
修改 log4j.properties
10、故障处理 Fsck
命令:hbase hbck
可以检查region是否同时存在于.MTAT. 表和HDFS中,检查其是否只被指派给唯一的region server。
可以通过表细节信息与region比较,找到缺失的region,检查region起始终止键范围中的空洞或重叠。
-fix 选项可修复问题
11、日志分析
12、常见问题
(1)、 安装检查内容:
文件句柄:cat /proc/<PID of JVM>/limits
DataNode连接数:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
压缩:
垃圾回收/内存调优:
(2)、稳定性问题:
ZooKeeper 不能与 DataNode、TaskTracker、RegionServer部署在同一个节点。
在小集群中,ZooKeeper 可与NameNode、SecondaryNamenode、JobTracker 部署到一起。
- Hbase 笔记(12) 集群管理
- hbase 集群管理脚本
- HBase集群管理
- 关于Hbase的集群管理
- 《HBase权威指南》读书笔记12:第十二章 集群管理
- Hbase API管理功能3-集群管理
- Hbase 笔记(10) 集群监控
- [笔记]Hbase入门集群搭建
- Zookeeper管理多个HBase集群
- 第7周 HBase集群安装,管理
- hbase 列族优化 ,shell 管理集群
- 使用zookeeper管理多个hbase集群
- 使用zookeeper管理多个hbase集群
- HBase集群运维管理 问题记录
- 使用zookeeper管理多个hbase集群
- 集群管理笔记
- HBase的的管理笔记
- HBase的的管理笔记
- SFDC
- mktime
- iOS Core Animation 简明系列教程
- jquery textarea值的更新与获取 text() vs val()
- Object-C Category和Extension的区别
- Hbase 笔记(12) 集群管理
- BZOJ系列2440《[中山市选2011]完全平方数》题解
- localtime
- 第12周项目一 程序阅读题(5)
- BaiduMap SDK3.1.1 — 路径规划(RoutePlan)与覆盖物(Overlay)
- gmtime
- UVA10759 - Dice Throwing(dp+gcd)
- 【性能调优】Oracle AWR报告指标全解析
- gettimeofday