Mysql MHA高可用软件

警告
本文最后更新于 2022-06-28,文中内容可能已过时。

MHA(Master HA) 高可用软件

自动主从切换工具

https://github.com/yoshinorim/mha4mysql-manager

https://github.com/yoshinorim/mha4mysql-node

基础环境

环境准备(1管理, 1主2从):

  • manager: 172.16.10.10(10.0.2.10)
  • master01: 172.16.10.25(10.0.2.25)
  • slave01: 172.16.10.26(10.0.2.26)
  • slave02: 172.16.10.27(10.0.2.27)

准备

  • 关闭所有节点relay_log自动清理功能
1
2
3
4
5
6
# 临时 
sql> set global relay_log_purge = 0;

# 永久
$> vim /etc/my.cnf
relay_log_purge = 0
  • 设置从库只读功
1
sql> set global read_only=1
  • 各个节点互连
1
2
3
4
$> ssh-keygen 
$> ssh-copy-id root@10.0.2.25
$> ssh-copy-id root@10.0.2.26
$> ssh-copy-id root@10.0.2.27

安装

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
## 所有节点安装mha node软件包
# mha node 软件包依赖
$> yum install perl-DBD-MySQL -y 

## mha node 软件安装
$> yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm

## 主库添加MHA管理用户
$> mysql -uroot -e "grant all privileges on *.* to mha@'10.0.2.%' identified by 'mha';"

## 管理机安装manager软件(管理节点安装,建议独立一台或非主节点服务器)
# 依赖环境
$> yum install perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes -y 

# mha manager 软件安装
$> yum install perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes -y 
$> yum install mha4mysql-manager-0.58-0.el7.centos.noarch.rpm -y

# 创建配置文件目录 
$> mkdir /etc/mha
$> mkdir -p /var/log/mha/app1
$> vim /etc/mha/app1.cnf
[server default]
# 用于管理stop slave,change master,reset slave等操作的账号,缺省为root
user=mha
password=mha

# mha manager生成的日志据对路径,如果没有设置,mha manager将打印在标准输出,标准错误输出上
manager_log=/var/log/mha/app1/manager

# mha manager生成的相关状态文件的绝对路径,如果没有设置,则默认使用/var/tmp
manager_workdir=/var/log/mha/app1

# 在master上生成binlog的绝对路径
master_binlog_dir=/data/mysqldb/binlog

# 这个参数表示mha manager多久ping(执行select ping sql语句)一次master,连续三个丢失ping连接,mha master就判定mater死了,因此,通过4次ping间隔的最大时间的机制来发现故障,默认是3,表示间隔是3秒
ping_interval=2

# repl_user参数指定的用户名密码
repl_user=repl
repl_password=123123

# 访问MHA manger和MHA mysql节点的OS系统帐号 
ssh_user=root

# > https://www.cnblogs.com/xiaoboluo768/p/5973827.html
# 故障时自动调用的脚本,一般用于自动vip漂移
master_ip_failover_script=/usr/local/bin/master_ip_failover

# 故障时发送报告调用的脚本
# report_script=

# 节点信息配置,下列顺序将影响选主的权重,号码越小权重越高 
[server1]
hostname=10.0.2.25
port=3306

[server2]
hostname=10.0.2.26
port=3306

[server3]
hostname=10.0.2.27
port=3306

# binlogserver配置,要求一台额外的机器,mysql 5.6以上,支持gtid并开启, 其作用是用于同步主库的binlog内容

# 必须叫这个名字binlog1,是MHA定义好的 
[binlog1]
# 永远不会被选主
no_master=1
hostname=10.0.2.27
port=3306
# 需要手动创建这个目录,并目录不能与原目录一致
master_binlog_dir=/data/mysqldb/binlog-server


# 状态检查
## 互信状态检查 
$> masterha_check_ssh --conf=/etc/mha/app1.cnf

## 主从状态检查 
$> masterha_check_repl --conf=/etc/mha/app1.cnf


# 开启MHA --remove_dead_master_conf 自动将故障节点从配置文件中移除 --ignore_last_failover
$> nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

# 查看MHA状态
$> masterha_check_status --conf=/etc/mha/app1.cnf 

监控MHA Manager日志/var/log/mha/manager,手动关闭mysql主库(10.0.2.25), 日志体现,开始检查主库状态,在每隔2秒检查共3次后,第四次仍然检查失败,自动切换主库为第二个节点(10.0.2.26-自动计算), 从配置文件中删除故障节点配置,并自动关闭MHA Manager程序。

恢复故障主节点,并将故障主节点作为从节点重新恢复(生产环境建议直接重建加入)加入到集群内部去(在MHA Manager管理日志中,会包含恢复时该执行的命令change master xxxx), 执行change master xxxx(mha日志中有体现),然后start salve,最后手动添加故障节点配置到mha配置文件(/etc/mha/app1.cnf)中,重新启动mha管理

MHA binlongserver

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# 1. binlogserver配置,要求一台额外的机器,mysql 5.6以上,支持gtid并开启, 其作用是用于同步主库的binlog内容
$> vim /etc/mha/app1.cnf 
# 必须叫这个名字binlog1,是MHA定义好的 
[binlog1]
# 永远不会被选主
no_master=1
hostname=10.0.2.27
port=3306
# 需要手动创建这个目录,并目录不能与原目录一致
master_binlog_dir=/data/mysqldb/binlog-server


# 2. 配置节点创建对应目录(权限)
$> mkdir -p /data/mysqldb/binlog-server

# 3. 拉取主库的binlog日志,先确认下主库是从多少开始的  show binary logs; 需全部拉取下来
# binlog拉取本身和mha没什么关系,但需要在mha启动是前处理好,否这mha将无法正常启动 
$> cd /data/mysqldb/binlog-server && mysqlbinlog -R --host=10.0.2.26 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &

# 4. 重启mha 
$> masterha_stop --conf=/etc/mha/app1.cnf 
$> nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 & 

# 5. 故障演示 
# 主库宕机,binlogserver自动停止,manager也会自动停止
# 主库宕机,binlogserver日志也是无效了,需要重新同步 
# 解决方案:
# 1. 重新获取新主库的binlog到binlogserver中
# 2. 重新配置配文件的binlog server信息
# 3. 最后在启动mha

MHA 的vip功能

mha提供了vip接口,使用脚本自己实现,源码包中也提供了模板(perl,看不懂,找的这个虽然也是perl的),配置文件/etc/mha/app1.cnf[server default]下添加master_ip_failover_script=/usr/local/bin/master_ip_failover , 然后在主库上,手动生成第一个vip地址ip addr add 10.0.2.8/24 dev eth0 ,以下为脚本内容

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
$> vim  /usr/local/bin/master_ip_failover  # 注意执行权限 
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);

my $vip = '10.0.2.8/24';  # Virtual IP

# 通过ip绑定的ifconfig 无法查看到
my $ssh_start_vip = "/sbin/ip addr add $vip dev eth0";
my $ssh_stop_vip = "/sbin/ip addr del $vip dev eth0";  # 

# my $key = "1";
# my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
# my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

$ssh_user = "root";
GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
);

exit &main();

sub main {

    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        # $orig_master_host, $orig_master_ip, $orig_master_port are passed.
        # If you manage master ip address at global catalog database,
        # invalidate orig_master_ip here.
        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {

        # all arguments are passed.
        # If you manage master ip address at global catalog database,
        # activate new_master_ip here.
        # You can also grant write access (create user, set read_only=0, etc) here.
        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        `ssh $ssh_user\@cluster1 \" $ssh_start_vip \"`;
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

# A simple system call that enable the VIP on the new master
sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

软件构成

Manager 工具包主要包括

- -
masterha_check_ssh 检查MHA的SSH配置状况
masterha_check_repl 检查MySQL复制情况
masterha_check_status 检测当前MHA运行状态
masterha_manager 启动MHA
masterha_master_monitor 检测master是否宕机
masterha_master_switch 控制故障转移(自动或手动)
masterha_conf_host 添加或删除配置的server信息

Node工具包(这些工具通常有MHA Manager的脚本处罚,无需认为操作)

- -
save_binary_log 保存和复制master的二进制日志
apply_diff_relay_log 识别差异的中级日志事件并将其差异的事件应用于其他的
slave filter_mysqlbinlog 去除不必要的ROLLBACK事件(MHA已不再使用这个工具)
purge_relay_log 清除中级日志(不会阻塞SQL线程)