线上48组nodes一组db0101主库down了之后的failover处理过程.
来源:互联网 发布:南京软件开发有限公司 编辑:程序博客网 时间:2024/06/06 23:36
(1) 应用页面500,503,504 Error 错误
(2) email报警db0201 is down now!
1 症状初步判断
赶快ping 20.222.21.173, 报unreachle的错误. 赶紧call 系统管理员以及硬件工程师,让他们登陆物理主机看看出了什么故障.
这里赶紧去mmm control服务器去看看状况如何?
[nova@db0203 ~]$ sudo -u mmmd mmm_control show
# Warning: agent on host db1 is not reachable
db1(20.222.21.173) master/HARD_OFFLINE. Roles: reader(20.222.22.57), writer(20.222.22.56)
db2(20.222.22.145) master/ONLINE. Roles: reader(20.222.22.58)
master/HARD_OFFLINE,猜测应该是硬件介质故障导致的.
2 紧急failover,恢复应用
由于应用页面报错,而且db0201已经down了,所以需要马上做failover操作,尽快切到db0202上面去,下面手动切换。
[nova@db0203 ~]$ sudo -u mmmd /usr/sbin/mmm_control move_role writer db2OK: Role 'writer' has been moved from 'db1' to 'db2'. Now you can wait some time and check new roles info!
[nova@db0203 ~]$ sudo -u mmmd mmm_control show
# Warning: agent on host db1 is not reachable
db1(20.222.21.173) master/HARD_OFFLINE. Roles: reader(20.222.22.57)
db2(20.222.22.145) master/ONLINE. Roles: reader(20.222.22.58), writer(20.222.22.56)
3 重新做failover的疑惑?
failover之前需要做什么事情? 需要等待吗?还是直接执行failover就可以了? 这是一次线上操作,没有可以借鉴的,我这里是直接执行failover操作了。
执行时间:18:45
执行命令:sudo -u mmmd /usr/sbin/mmm_control move_role writer db2
过了一个小时,sa以及hard engineer已经检查完物理主机了,是out of memory了,所以默认就kill了战局内存最大的mysql虚拟机了。他们调整了参数设置以及保护措施(具体细节不是太懂)
4 设置db1 online
等db0201服务器启动之后,需要手动开启replication,手动执行start slave; replication正常开始同步数据。再去check下mmm状态
[nova@db0203 ~]$ sudo -u mmmd mmm_control show
db1(20.222.21.173) master/AWAITING_RECOVERY.Roles: reader(20.222.22.57)
db2(20.222.22.145) master/ONLINE. Roles: reader(20.222.22.58), writer(20.222.22.56)
看到这个awaiting_recovery,不要慌,这是因为介质故障,所以虽然mmm_control监控到了db1,但是它不会把db1设置成online的,需要我们自己去判断db1是否正常,如果正常,我们可以自己把db1设置成online,这也算是mmm的一个谨慎的地方吧。所以我这里check完db1之后,发现db1的replication正常后,就可以设置db1 online了。
执行命令:sudo -u mmmd mmm_control set_online db1
看到 db1(20.222.21.173) master/ONLINE. Roles: reader(20.222.22.57), OK,db1已经online了
5 Change writer from db2 to db1
之后检查db1和db2双master运行一段时间,大概monitor20分钟后,就可以执行切换操作了,毕竟db1是ssd,db2是普通介质。
[nova@db0203 ~]$ date
Thu Sep 5 12:11:02 GMT 2013
[nova@db0203 ~]$ sudo -u mmmd /usr/sbin/mmm_control move_role writer db1
OK: Role 'writer' has been moved from 'db2' to 'db1'. Now you can wait some time and check new roles info!
[nova@db0203 ~]$ sudo -u mmmd mmm_control show
db1(20.222.21.173) master/ONLINE. Roles: reader(20.222.22.57), writer(20.222.22.56)
db2(20.222.22.145) master/ONLINE. Roles: reader(20.222.22.58)
看到db1已经成为了writer了。
6 善后email通知各位大领导
......在此省略N字......
附带mmm安装过程 http://blog.csdn.net/mchdba/article/details/8633840
- 线上48组nodes一组db0101主库down了之后的failover处理过程.
- 线上48组nodes一组db0101主库down了之后的failover处理过程.
- MySQL线上 MM结构架构一次手动failover的过程
- rac 整个failover的过程
- DG Broker failover的过程
- 电脑中毒之后的处理过程
- 项目oracle出错之后的处理过程
- 可用性组Failover切换后,数据库变成read-only的处理
- 一次线上OOM过程的排查
- 记一次解决线上压力的过程
- 记一次线上问题的排查过程
- 倒霉!朋友的服务器DOWN了
- 上个sprint 的目标down掉了 :(
- 解决GridView的长按事件在手机上执行而在平板电脑上先执行Down在之后才和down事件一样传递给最终的目标view的onTouchEvent()处理
- 物理Data Guard 下Failover 时Redo 的处理问题
- 物理Data Guard 下Failover 时Redo 的处理问题
- 物理Data Guard 下Failover 时Redo 的处理
- 物理Data Guard 下Failover 时Redo 的处理问题~
- Oracle 11gR2默认valid_for引起ora-16009
- Spring获取Web应用根目录的方法
- php解析xml simplexml方式
- Linux单引号/双引号/()/`区别
- Unity游戏开发使用Assetbundle加载场景实战
- 线上48组nodes一组db0101主库down了之后的failover处理过程.
- SpringMVC国际化设置-Cannot change HTTP accept header - use a different locale resolution strategy
- linux mail 命令参数:
- c/c++与c#的类型转换
- 将像素绘制到屏幕上去
- 摄像机定标
- Last_IO_Errno: 1236 Last_IO_Error: Got fatal error 1236 from master when reading data from binary lo
- hihoCoder 1097 : 最小生成树一·Prim算法
- 【HDU】1402 A * B Problem Plus 【FFT】