上一篇我梳理了从零研发云数据库 RDS 的路线:先建立 Server、Worker、Agent 和资源模型,再逐步实现实例交付、备份恢复、扩缩容和高可用。这次想进一步讨论一个更难的问题:RDS 的高可用系统到底难在哪里?

我以前参与过 RDS 平台研发,最初看起来,HA 实现主库故障后只要“探活失败 → 选从库 → 提升为主 → 改代理路由”即可。但深入分析后会发现,真正难的不是几条切换命令,而是在网络不可靠、复制有延迟、部分步骤可能失败的情况下,如何保证安全地恢复写入。

本文以“一主两从 MySQL + 三个 HA 节点 + 双 ProxySQL”为示例,先复盘原始设计,再讨论故障检测、脑裂、GTID 选主、事务一致性、代理切换和 Go 工作流自恢复。

一、先说结论:HA 有三个不同的目标

目标 含义 关键问题
RTO 故障后多久恢复服务 从发现故障到恢复可写,耗时多久?
RPO 故障后最多允许丢失多少数据 客户端已确认成功的事务,会丢失多少?
安全性 / 正确性 切换不能制造更严重的数据问题 会不会双主、误切、重复执行或事务历史分叉?

RTO 越小越好,但不能用盲目自动切换来交换数据正确性。对于金融类业务,短暂不可写通常比两个主库同时写入更容易接受。

核心问题可以重新表述成:如何在不可靠的故障环境中,实现安全、快速、可恢复的 MySQL 主库故障转移?

二、我们原来讨论的高可用架构

方案分成三层:

层次 典型组件 目标
数据库层 MySQL Primary / Replica、GTID 主从复制 数据复制和候选主库
访问代理层 ProxySQL + Keepalived + VIP 稳定入口、动态路由、代理冗余
控制协调层 Sentinel-like HA 集群 + Leader 多点检测、判定故障、协调切换
text
1
2
3
4
5
6
7
8
9
10
11
12
13
14
 Application
|
VIP / Keepalived
|
ProxySQL A / B ------> 写组 / 读组
| |
+------ MySQL Primary ----+---- MySQL Replica A
|
MySQL Replica B

Sentinel 1 / 2 / 3
| 探活与故障判定
| 选举执行者
+----> Failover 工作流

在 Go 的实现思路里,还可以将 MySQL、ProxySQL 等不同被探测对象抽象为 Endpoint,提供统一的 HealthCheck 接口,让上层检测流程与对象类型解耦。

这个分层总体合理:ProxySQL 负责流量,MySQL 负责数据,HA 服务负责判断与编排。复杂度主要隐藏在三层之间的协调协议里。

三、第一道难题:多个 Sentinel 都判定主库故障,为什么还不能直接切换?

1. “不可达”不等于“已宕机”

设想网络分区:Sentinel 2 和 Sentinel 3 由于网络问题访问不到 Primary,于是 2/3 多数节点都报告连接超时。但 Primary 可能仍在运行,一部分应用甚至还能向旧主库写入。

如果 HA 服务直接将 Replica A 提升为新主库,系统就可能出现:

  • 旧 Primary 还在接受一部分业务写入;
  • 新 Primary 也开始接受新的业务写入;
  • 两边生成不同的事务历史,形成 Split Brain(脑裂)。
    多节点探活能降低单个探测器误报风险,却不能证明旧主已经失去写入能力。

2. 故障检测、Leader 选举、Fencing 必须分开

“主观下线 → 多数派客观下线 → 选出 Leader → 执行 Failover”的思路。其优点是避免单节点探测触发切换,也避免多个节点同时执行切换。但需要进一步区分:

  • 故障判定:从哪些观测点来看,主库不可用?
  • 执行授权:谁有权发起本轮切换?
  • 旧主隔离(Fencing):旧主是否已经被可靠地禁止继续写入?
    即便选出了唯一 Leader,也不能自动保证旧 Primary 不再处理写入。更严格的设计应当在新主开放写入前确认旧主被有效隔离。

3. 如何做可靠的旧主隔离?

在可连接时,可以让旧主停止接收新写入、设置只读并等待事务结束;但如果旧主网络不可达,不能把“无法远程执行只读”当成已经隔离。

更可靠的手段是借助可信的基础设施控制面停止实例、隔离写入网络路径,或者使用经过验证的等价 fencing 机制,并确认隔离真正生效。仅发送关闭命令不算完成。

如果无法安全隔离旧主,且业务要求不允许双主,就应暂停自动恢复,进入不可写和人工介入流程。把写入暂停当成一种安全状态,而不是一定要强制切主。

4. Leader 选举还存在过期执行者问题

假设 Leader A 的任期是 Epoch 10,执行切换时与集群失联;多数派后来选出 Leader B,Epoch 为 11。A 恢复后可能继续发送原来的切换命令。

因此除了选 Leader,还需要任期编号、过期请求拒绝和资源侧 fencing。可以利用 etcd/Consul 等成熟协调系统,而不是轻易从头实现完整 Raft。Raft-like 多数投票与完整 Raft 共识协议不是一回事。

5. 故障检测如何既准确又快速?持续观测,而不是故障后串行体检

前面提到的网络、MySQL、主机 Agent、复制、ProxySQL、云平台六类观测点,并不意味着故障发生后要依次调用六套接口、等待六次超时。成熟 RDS 的做法是:正常运行时持续采集,故障发生时快速汇总已有证据,只对关键疑点做必要的二次确认。

可以把观测分成三组:

分组 持续采集的内容 故障时的用途
核心探测 Sentinel 定期执行 TCP 连接、MySQL 握手和轻量 SQL 探测,记录延迟、错误类型和连续失败次数 判断主库是否从当前 HA 节点的观察路径上不可达或响应异常
辅助观测 Agent 上报 mysqld 进程、本地 Socket、CPU、内存、磁盘与 OOM;ProxySQL 上报后端连接和路由状态;云平台上报 VM、网卡、磁盘等资源状态 交叉判断故障更可能发生在 MySQL、主机、网络还是代理层
数据安全观测 Replica 持续采集 IO/SQL 线程、复制错误、延迟、Executed GTID、Retrieved GTID 和 Relay Log 状态;记录半同步等复制保护状态 评估候选副本的数据完整性与当前 RPO 风险

这些指标不是六个串行的“检查关卡”,也不是要求所有指标同时异常才算故障。它们是持续更新的观测数据,故障发生时按需读取。特别要保存观察者、观测时间、结果和错误原因;过期的 Agent 心跳或复制状态应当视为未知,不能当作健康。

故障发生时,真正的快速路径

text
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
正常运行:持续探测 + 持续上报 + 持续复制
|
v
Sentinel 连续探测失败,形成主观下线(S_DOWN)
|
v
多个独立 HA 节点并行确认,达到多数派后形成客观下线(O_DOWN)
|
v
汇总最近的 Agent / ProxySQL / Replica / 云平台观测
|
v
必要时对矛盾或过期信息做定向二次探测
|
v
取得本轮唯一执行权
|
v
旧主 Fencing 已确认?候选数据满足 RPO?
| |
否 是
| |
暂停自动切换、告警 提升新主、更新路由
|
v
后台修复旧主、重建备库

这里有三个容易混淆的边界:

  1. 多数派解决的是观察者如何形成故障判断,不代表旧主已经停止写入。 多个 Sentinel 如果部署在同一个可用区、共用同一条网络路径,也可能一起误判,因此应尽量跨故障域部署。
  2. 辅助观测优先读取最新缓存状态,不要把所有外部 API 调用放在同步切换路径上。 如果关键证据缺失、过期或互相矛盾,再进行定向探测;如果无法确认旧主隔离或数据安全,就暂停自动切换。
  3. 业务恢复与故障修复分离。 新主安全开放写入、代理路由验证完成后,旧主检查、数据盘抢救、备库重建等工作可以继续在后台执行。

真实云厂商的公开资料能说明什么?

阿里云公开的《高可用服务》文档将能力拆成 Detection、Repair、Notice:Detection 持续检测主备服务状态,Repair 负责修复复制关系和异常节点,Notice 将角色变化通知负载均衡或 Proxy。该文档描述 HA 节点以 8~10 秒间隔获取主库心跳,并结合备库健康状态和多个 HA 节点的心跳排除网络抖动误判;文档给出的异常切换时间是 30 秒内。这是该文档所描述架构的指标,不应理解为所有 RDS 版本、所有故障类型的统一 SLA。

  • 阿里云:高可用服务(Detection / Repair / Notice)
    腾讯云公开的 MySQL 事件文档则区分了主节点拨测异常(MasterHealthCheckError)、主节点拨测恢复(MasterHealthCheckRecovery)、主备切换(Switch)和备节点恢复(SlaveHealthCheckRecovery)。文档说明,主节点在拨测异常后恢复,可能意味着 HA 切换回滚、并未实际切换;出现 Switch 并随后备节点恢复,才表示切换成功。这说明“探测异常”和“切换完成”是两个不同事件。

  • 腾讯云:云数据库 MySQL 拨测异常事件
    腾讯云还说明,双节点、三节点等架构进行主备切换会出现短暂不可用;正常切换场景文档描述不超过 30 秒,但故障场景下切换时间可能延长。因此,真实系统需要接受检测和切换存在时间成本,并要求应用具备自动重连能力。

  • 腾讯云:云数据库 MySQL 实例切换影响
    这些公开资料能帮助我们理解云厂商对外描述的设计思路,但不能据此推断其内部所有探测算法、选举协议或 Fencing 实现。

四、第二道难题:复制延迟不同,怎样选择最安全的新主库?

MySQL 从库的数据链路可以简化成:

过去最容易犯的错误,是说“比较 executed_gtid_set 最大的从库”或“选择复制延迟最小的从库”。

问题是:GTID 是事务集合,不是可以直接比较大小的数字;延迟指标也不能证明哪个副本保存了更多完整事务。

1. 区分已接收与已执行的 GTID

text
1
2
3
4
5
6
7
Primary Binlog
|
v
Replica I/O Receiver
|
v
Relay Log ----> SQL Applier ----> 数据实际生效
  • Executed GTID:已经执行的事务集合;
  • Retrieved GTID:从主库获取的事务集合;
  • Relay Log:收到但可能尚未应用的复制事件。
    Retrieved GTID 不能单独证明事务已经完整、可安全重放。选主前还要检查 Relay Log 完整性、复制通道状态、错误、已执行事务和可恢复的数据。

2. 一个典型场景

假设原主库已经执行 GTID 1~100:

节点 已执行 已接收
Replica A 1~98 1~100
Replica B 1~99 1~99

不能因为 B 已执行 99 就立即选 B。A 可能已经完整收到 100,只差应用。

如果验证 A 的 Relay Log 完整、可安全执行剩余事务,则先应用到 100,最终 A 比 B 更完整。反之,若第 100 个事务未完整接收或无法验证,就不能假定 A 一定更好。

3. 使用集合关系比较,而不是比较数量

MySQL 提供 GTID_SUBSET() 和 GTID_SUBTRACT():

1
2
3
4
5
6
7
8
-- 判断 A 的事务是否均包含在 B 中
SELECT GTID_SUBSET(@gtid_a, @gtid_b);

-- 计算 A 比 B 多出的 GTID
SELECT GTID_SUBTRACT(@gtid_a, @gtid_b);

-- 找出 B 比 A 多出的 GTID
SELECT GTID_SUBTRACT(@gtid_b, @gtid_a);

这些函数比较的是事务集合包含关系。实际决策还要考虑事务来源、可恢复性、复制链路健康、旧主是否已隔离等,而不是只看一个函数的返回值。

4、如果 GTID 集合分叉,是停止切换还是继续?

这正是前面讨论中最有价值的追问。假设:

text
1
2
3
4
Replica A: old-primary-uuid:1-100

Replica B: old-primary-uuid:1-99,
replica-b-uuid:1-2

两者互不包含。B 多出的本地事务可能是直接写入从库形成的 Errant Transactions,也可能与更复杂的复制历史有关。

安全策略不是“有分叉一律停止”,而是“无法证明安全时暂停自动切换”。

分叉情况 自动恢复策略
只有某个候选存在可确认的异常额外事务;另一候选有完整合法历史 排除异常候选,在确认旧主隔离、数据满足 RPO 后可以继续
两个候选各有独有事务,且来源/合法性无法确认 暂停自动选主,保留 Binlog 与现场,通知 DBA
经过人工或受控自动化验证,能安全修复与重建历史 修复后重新评估候选,再继续切换

这里绝对不能简单把两个 GTID 集合“合并”当成数据合并。GTID 记录事务身份,并不自动处理冲突的 SQL 写入,也不保证相同 GTID 对应的业务数据已经一致。

我倾向于让选主器返回 SAFE、RECOVERABLE、UNSAFE 三类结果。其中 SAFE 不是简单的“GTID 最多”,而是通过一组预定义安全检查的结论;UNSAFE 则要阻止新主对外开放写入。

5、即使 GTID 选主正确,也可能丢失已确认事务

这又是一个常见误区。

假设所有从库最多同步到 GTID 100,但故障前主库已经向客户端确认 GTID 101~105 提交成功。采用异步复制时,这五个事务可能从未到达任何从库。

此时我们选择了最完整的 Replica,也无法恢复没有被复制出来的事务。

要区分两类操作:

类型 方案
Switchover:计划内切换 停止新写入,确认在途事务完成,等待指定 GTID 集合追平,再安全切换
Failover:突然宕机 按复制模式和可恢复日志确定数据上限,结合 RPO 决定自动恢复还是人工介入

半同步复制能降低风险,但不能简单宣称“启用了半同步就永不丢数据”。MySQL 半同步存在超时回退异步的配置,也要区分 AFTER_SYNC、AFTER_COMMIT、ACK 数量和确认副本是否能被提升。具体语义应以运行时配置和官方文档为准。

五、第三道难题:ProxySQL 更新成功,业务就能无感切换吗?

ProxySQL + Keepalived + VIP 是一个合理的代理层高可用组合,但要避免把“入口 IP 不变”理解为“客户端连接和事务一定不受影响”。

  • VIP 漂移不能将已有 TCP 连接原样迁移到另一台代理;连接可能需要重建。
  • ProxySQL 可以动态调整后端 Hostgroup 和路由,但多个代理节点的配置仍需同步、验证及正确加载。
  • Connection Multiplexing 主要是后端连接复用,不等于能够迁移正在进行的事务。
  • 数据库主从切换期间,在途 SQL 可能报错,尤其是事务提交结果不确定时,不能简单无脑重试。

为什么我不推荐简单的“内存缓存 SQL 后重放”

之前笔者在实现时考虑在 ProxySQL 与 RDS 之间添加写入缓冲层,将切换期间的 SQL 暂存内存,再向新主库重放。

这个方案会碰到一个危险场景:旧主库已经提交了扣款事务,但响应在网络上丢失。缓冲层认为请求失败,在新主库重新执行,就可能重复扣款。

1
2
3
UPDATE account
SET balance = balance - 100
WHERE id = 1;

没有完整的事务边界、持久化顺序、幂等键、提交结果确认与故障恢复机制,通用 SQL 缓冲层不宜作为高可用的默认方案。

更稳妥的策略是:计划内切换通过受控停写与追平实现平滑交接;异常切换允许短暂不可写,要求应用使用连接池重连、超时控制与业务幂等机制。 对不确定是否提交成功的写操作,必须先核对业务结果,而非直接重试。

六、第四道难题:Failover 执行一半,Go 服务自己宕机了怎么办?

这其实是平台 Server 角度最值得展开的工程问题。假设已经把 Replica A 提升为新主,但尚未更新 ProxySQL,此时执行 Failover 的 Go 进程宕机。

新的 Worker 不能简单从头执行,因为数据库已经发生了部分不可逆状态变化。

所以我会把 Failover 实现成可恢复的持久化状态机。

1. 状态机示例

text
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
DETECTED
|
v
AUTHORIZED 获得本轮执行权 / Epoch
|
v
OLD_PRIMARY_FENCED
|
v
CANDIDATE_READY 已验证候选数据与复制历史
|
v
PROMOTED 新主库完成提升
|
v
ROUTING_UPDATED ProxySQL 写路由更新完成
|
v
REPLICAS_RECONFIGURED
|
v
VERIFIED -> COMPLETED

任一安全关口无法通过 -> PAUSED / MANUAL_INTERVENTION

每个状态不是“命令发送成功”就推进,而是必须验证实际状态已经满足对应不变量。对于不能简单回滚的步骤,优先进行向前恢复,必要时停止自动操作。

2. Go 数据结构示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
type FailoverTask struct {
ID string
ClusterID string
Epoch uint64
OldPrimary string
NewPrimary string
Step string
Status string
LastError string
}

type OperationRequest struct {
TaskID string
ClusterID string
Epoch uint64
Action string
}

任务元数据库保存 Task ID、集群、当前步骤、操作者、版本、外部操作 ID、错误和时间戳等。每个集群需要限制互斥的有效变更操作,状态推进应使用事务或 CAS 防止并发覆盖。

3. 恢复时要先“核对真实状态”,而不是简单重放

当新的 Leader 接管任务时:

  1. 通过可靠的协调机制获得当前有效的执行权和新 Epoch。
  2. 查询持久化 Task 及操作日志。
  3. 查询 MySQL 角色、GTID、只读状态,以及 ProxySQL 实际路由。
  4. 判断上一步是否已经生效:如果已生效,验证后推进状态;如果未生效且可安全重试,继续执行;如果状态不明确,进入受控恢复。
  5. 拒绝旧 Epoch 的过期操作,并确认已经下发的旧操作不会越权继续修改集群。
    这里特别要注意“执行成功、响应丢失”的场景。Agent 完成提升,但 HTTP/gRPC 返回失败,Server 不能据此认定数据库没有提升;应该查询真实拓扑来进行 Reconciliation(期望状态与实际状态协调)。

Epoch 校验也不能只在 Go 函数开头做一次。需要防止“校验完立即失去领导权,但旧命令已经发出”的竞态,必要时将 Fencing Token 和操作权限落实到真正会修改资源的边界。

4. 不要把恢复等同于简单回滚

失败点 推荐处理
旧主尚未隔离 允许取消切换,保留现有拓扑
已隔离旧主,还未提升候选 重新验证候选并继续,或安全暂停
已提升新主,但代理未更新 保持旧主隔离,核对新主后继续更新路由
新主已经开始接受写入 不直接回滚旧主;优先向前完成切换
其他从库重建失败 将集群标为 DEGRADED,先保持安全的主库,再修复副本

这说明 Failover 并不是一个可以全程用数据库事务包住的操作。它更接近受状态机约束、部分步骤只能向前恢复的分布式工作流。

七、一个可落地的自动故障转移决策流程

text
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
Sentinel 多点检测主库异常
|
v
确认故障 + 获取唯一执行权
|
v
旧主库是否已被可靠隔离?---- 否 ----> PAUSED + 告警
|
是
v
收集候选 GTID、复制和 Relay Log 状态
|
v
是否存在可验证安全的候选?-- 否 ----> MANUAL_INTERVENTION
|
是
v
应用候选可恢复的复制事务
|
v
提升新主库(持久化检查点)
|
v
更新 ProxySQL 路由并核验
|
v
重建从库复制关系
|
v
校验写入、复制、告警与元数据
|
v
COMPLETED 或 DEGRADED

这里没有假设所有操作都一定成功,反而刻意设计了暂停、降级和人工介入状态。

八、常见线上故障与排查策略

故障场景 主要风险 建议措施
主库网络短暂抖动 误判、反复切换 多点检测、连续失败门槛、恢复冷却期
主库能连通但 SQL 卡住 进程存活、业务不可用 连接探测 + 查询探测 + 延迟趋势分析
网络分区、旧主仍可写 双主脑裂 Fencing、路由检查、必要时暂停自动恢复
两个候选 GTID 分叉 误选主、隐藏数据冲突 双向差集、核对事务来源、无法验证则人工介入
ProxySQL 节点配置不同步 仍指向旧主或写入失败 路由版本、配置校验、运行时验证
旧 Leader 在网络恢复后继续操作 并发提升、拓扑破坏 Epoch/Fencing Token、过期操作拒绝
Worker 在执行中崩溃 中间状态无人处理 持久化任务、幂等、状态协调、接管
旧主恢复后重新入群 旧数据分叉、双主风险 保持隔离,核对数据并以从库身份安全重建
rds-ha 服务 OOM 监控或切换能力失效 pprof、连接资源管理、告警、进程自愈及容量限制

最后这一项来自我的历史排障笔记:rds-ha 服务曾出现 OOM,排查时通过 pprof 和数据库连接状态定位连接未正确关闭的问题。这一案例提醒我:高可用控制服务自身也必须是可观测、可恢复的。不过它属于独立的线上排障案例,不应未经核实就说它直接导致了某次数据库主从切换故障。

九、如何验证这套 HA 真正可靠?

上线前不能只测试“杀掉 Primary,然后观察 Replica 是否成为 Primary”。还要进行系统性故障注入:

  • 停止 MySQL 进程、关闭 VM、磁盘故障或资源耗尽。
  • 模拟单向网络中断与多节点网络分区。
  • 人为制造复制延迟、复制报错和 GTID 异常事务。
  • 让 Leader 在 PROMOTED 后、ROUTING_UPDATED 前宕机。
  • 模拟 Agent 返回超时,但实际操作已经成功。
  • 让旧 Leader 恢复并尝试发送过期指令。
  • 模拟 ProxySQL 故障、VIP 漂移与多代理路由不一致。
  • 故障恢复后让旧 Primary 尝试重新加入,验证不会误变成可写主。
    验收指标不能只看 RTO,还应该持续写入带唯一业务 ID 的事务,记录客户端哪些事务已经收到成功响应;切换之后核对是否丢失、重复或发生数据分叉,计算实际 RPO,并观察重试错误与业务可用性。

总结

回顾整个 RDS 高可用系统,最难的其实是三个决策:

  1. 什么时候允许切换? 多数派检测并不等于可以安全提升新主,旧主隔离是关键。
  2. 应该提升谁? 不是 GTID 最多或复制延迟最低,而是数据历史最完整、可验证、满足业务 RPO 的候选。
  3. 切换失败后怎么办? 依靠持久化状态机、Epoch、幂等和真实状态协调安全接管,而不是从第一行代码重跑。
    高可用不是保证永远不出错,而是让系统在最坏的故障条件下仍能做出安全、可解释、可恢复的决定。