Hbase-启动后RegionServer由于时间不同步自动挂掉

查看挂掉的节点hdp-node-02日志
[root@hdp-node-02 logs]# cat hbase-root-regionserver-hdp-node-02.log
2017-08-23 17:00:59,154 FATAL [regionserver/hdp-node-02/192.168.33.102:16020] regionserver.HRegionServer: Master rejected startup because clock is out of sync
org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server hdp-node-02,16020,1503478852456 has been rejected; Reported time is too far out of sync with master. Time difference of 64750ms > max allowed of 30000ms
。。。。。。。。。。。。。。。。。

当然在执行shell命令的status，list命令时若报错:
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
可能都是regionserver挂掉了
解决：
1） 网上同步时钟（推荐）
检查ntp是否安装
rpm -q ntp
若没安装则安装ntp服务：
yum install -y ntp
在hdp-node-01下查看时间服务是否运行：
service ntpd status
如果没有运行，则启动服务
$ sudo service ntpd start
同时，设置开机启动时间服务
chkconfig ntpd on
以上步骤需要在三个节点上都进行
编辑/etc/ntp.conf
vi /etc/ntp.conf

restrict 192.168.33.0 mask 255.255.255.0 nomodify notrap #改为自己的网段，我的是192.168.33.0#server 0.centos.pool.ntp.org iburst#server 1.centos.pool.ntp.org iburst#server 2.centos.pool.ntp.org iburst#server 3.centos.pool.ntp.org iburstserver 210.72.145.44 perfer   #中国国家授时中心server 202.112.10.36          #1.cn.pool.ntp.orgserver 59.124.196.33          #0.asia.pool.ntp.orgserver 192.168.33.101         #局域网中NTP服务器的IP

重启ntp服务：
service ntpd restart
重启后需要等待3-5分钟，才能使用ntpdate命令

hdp-node-02，hdp-node-03主机上写个定时任务，每隔1小时，就同步主服务器hdp-node-01的时间
# crontab -e
* /1 * * /usr/sbin/ntpdate hdp-node-01

crontab -u root -l 可以查看当前定时任务

保存退出，重新启动下crond
# service crond restart

hdp-node-01跟BIOS系统的同步：
vi /etc/sysconfig/ntpd
[root@hdp-node-01 ~]# cat /etc/sysconfig/ntpd
# Drop root to id ‘ntp:ntp’ by default.
SYNC_HWCLOCK=yes
OPTIONS=”-u ntp:ntp -p /var/run/ntpd.pid -g”

其他节点临时与master同步：
ntpdate hdp-node-01

同步网络时间
ntpdate time.nist.gov

2）在hbase-site.xml文件中 修改增加 ，将时间改大点

hbase.master.maxclockskew
150000

3） 修改各服务器时间 保证间隔在30s以内，或者使各服务器跟同一个服务器时间保持同步
修改日期
date -s 08/20/2016
修改时间
date -s 15:14:00
检查硬件（CMOS）时间
clock -r
将系统时间写入CMOS
clock -w