RDS 高可用为什么难:从 Sentinel、GTID 选主到 Failover 自恢复
上一篇我梳理了从零研发云数据库 RDS 的路线:先建立 Server、Worker、Agent 和资源模型,再逐步实现实例交付、备份恢复、扩缩容和高可用。这次想进一步讨论一个更难的问题:RDS 的高可用系统到底难在哪里?
我以前参与过 RDS 平台研发,最初看起来,HA 实现主库故障后只要“探活失败 → 选从库 → 提升为主 → 改代理路由”即可。但深入分析后会发现,真正难的不是几条切换命令,而是在网络不可靠、复制有延迟、部分步骤可能失败的情况下,如何保证安全地恢复写入。
本文以“一主两从 MySQL + 三个 HA 节点 + 双 ProxySQL”为示例,先复盘原始设计,再讨论故障检测、脑裂、GTID 选主、事务一致性、代理切换和 Go 工作流自恢复。
一、先说结论:HA 有三个不同的目标
| 目标 | 含义 | 关键问题 |
|---|---|---|
| RTO | 故障后多久恢复服务 | 从发现故障到恢复可写,耗时多久? |
| RPO | 故障后最多允许丢失多少数据 | 客户端已确认成功的事务,会丢失多少? |
| 安全性 / 正确性 | 切换不能制造更严重的数据问题 | 会不会双主、误切、重复执行或事务历史分叉? |
RTO 越小越好,但不能用盲目自动切换来交换数据正确性。对于金融类业务,短暂不可写通常比两个主库同时写入更容易接受。
核心问题可以重新表述成:如何在不可靠的故障环境中,实现安全、快速、可恢复的 MySQL 主库故障转移?
二、我们原来讨论的高可用架构
方案分成三层:
| 层次 | 典型组件 | 目标 |
|---|---|---|
| 数据库层 | MySQL Primary / Replica、GTID 主从复制 | 数据复制和候选主库 |
| 访问代理层 | ProxySQL + Keepalived + VIP | 稳定入口、动态路由、代理冗余 |
| 控制协调层 | Sentinel-like HA 集群 + Leader | 多点检测、判定故障、协调切换 |
1 | Application |
在 Go 的实现思路里,还可以将 MySQL、ProxySQL 等不同被探测对象抽象为 Endpoint,提供统一的 HealthCheck 接口,让上层检测流程与对象类型解耦。
这个分层总体合理:ProxySQL 负责流量,MySQL 负责数据,HA 服务负责判断与编排。复杂度主要隐藏在三层之间的协调协议里。
三、第一道难题:多个 Sentinel 都判定主库故障,为什么还不能直接切换?
1. “不可达”不等于“已宕机”
设想网络分区:Sentinel 2 和 Sentinel 3 由于网络问题访问不到 Primary,于是 2/3 多数节点都报告连接超时。但 Primary 可能仍在运行,一部分应用甚至还能向旧主库写入。
如果 HA 服务直接将 Replica A 提升为新主库,系统就可能出现:
- 旧 Primary 还在接受一部分业务写入;
- 新 Primary 也开始接受新的业务写入;
- 两边生成不同的事务历史,形成 Split Brain(脑裂)。
多节点探活能降低单个探测器误报风险,却不能证明旧主已经失去写入能力。
2. 故障检测、Leader 选举、Fencing 必须分开
“主观下线 → 多数派客观下线 → 选出 Leader → 执行 Failover”的思路。其优点是避免单节点探测触发切换,也避免多个节点同时执行切换。但需要进一步区分:
- 故障判定:从哪些观测点来看,主库不可用?
- 执行授权:谁有权发起本轮切换?
- 旧主隔离(Fencing):旧主是否已经被可靠地禁止继续写入?
即便选出了唯一 Leader,也不能自动保证旧 Primary 不再处理写入。更严格的设计应当在新主开放写入前确认旧主被有效隔离。
3. 如何做可靠的旧主隔离?
在可连接时,可以让旧主停止接收新写入、设置只读并等待事务结束;但如果旧主网络不可达,不能把“无法远程执行只读”当成已经隔离。
更可靠的手段是借助可信的基础设施控制面停止实例、隔离写入网络路径,或者使用经过验证的等价 fencing 机制,并确认隔离真正生效。仅发送关闭命令不算完成。
如果无法安全隔离旧主,且业务要求不允许双主,就应暂停自动恢复,进入不可写和人工介入流程。把写入暂停当成一种安全状态,而不是一定要强制切主。
4. Leader 选举还存在过期执行者问题
假设 Leader A 的任期是 Epoch 10,执行切换时与集群失联;多数派后来选出 Leader B,Epoch 为 11。A 恢复后可能继续发送原来的切换命令。
因此除了选 Leader,还需要任期编号、过期请求拒绝和资源侧 fencing。可以利用 etcd/Consul 等成熟协调系统,而不是轻易从头实现完整 Raft。Raft-like 多数投票与完整 Raft 共识协议不是一回事。
5. 故障检测如何既准确又快速?持续观测,而不是故障后串行体检
前面提到的网络、MySQL、主机 Agent、复制、ProxySQL、云平台六类观测点,并不意味着故障发生后要依次调用六套接口、等待六次超时。成熟 RDS 的做法是:正常运行时持续采集,故障发生时快速汇总已有证据,只对关键疑点做必要的二次确认。
可以把观测分成三组:
| 分组 | 持续采集的内容 | 故障时的用途 |
|---|---|---|
| 核心探测 | Sentinel 定期执行 TCP 连接、MySQL 握手和轻量 SQL 探测,记录延迟、错误类型和连续失败次数 | 判断主库是否从当前 HA 节点的观察路径上不可达或响应异常 |
| 辅助观测 | Agent 上报 mysqld 进程、本地 Socket、CPU、内存、磁盘与 OOM;ProxySQL 上报后端连接和路由状态;云平台上报 VM、网卡、磁盘等资源状态 | 交叉判断故障更可能发生在 MySQL、主机、网络还是代理层 |
| 数据安全观测 | Replica 持续采集 IO/SQL 线程、复制错误、延迟、Executed GTID、Retrieved GTID 和 Relay Log 状态;记录半同步等复制保护状态 | 评估候选副本的数据完整性与当前 RPO 风险 |
这些指标不是六个串行的“检查关卡”,也不是要求所有指标同时异常才算故障。它们是持续更新的观测数据,故障发生时按需读取。特别要保存观察者、观测时间、结果和错误原因;过期的 Agent 心跳或复制状态应当视为未知,不能当作健康。
故障发生时,真正的快速路径
1 | 正常运行:持续探测 + 持续上报 + 持续复制 |
这里有三个容易混淆的边界:
- 多数派解决的是观察者如何形成故障判断,不代表旧主已经停止写入。 多个 Sentinel 如果部署在同一个可用区、共用同一条网络路径,也可能一起误判,因此应尽量跨故障域部署。
- 辅助观测优先读取最新缓存状态,不要把所有外部 API 调用放在同步切换路径上。 如果关键证据缺失、过期或互相矛盾,再进行定向探测;如果无法确认旧主隔离或数据安全,就暂停自动切换。
- 业务恢复与故障修复分离。 新主安全开放写入、代理路由验证完成后,旧主检查、数据盘抢救、备库重建等工作可以继续在后台执行。
真实云厂商的公开资料能说明什么?
阿里云公开的《高可用服务》文档将能力拆成 Detection、Repair、Notice:Detection 持续检测主备服务状态,Repair 负责修复复制关系和异常节点,Notice 将角色变化通知负载均衡或 Proxy。该文档描述 HA 节点以 8~10 秒间隔获取主库心跳,并结合备库健康状态和多个 HA 节点的心跳排除网络抖动误判;文档给出的异常切换时间是 30 秒内。这是该文档所描述架构的指标,不应理解为所有 RDS 版本、所有故障类型的统一 SLA。
阿里云:高可用服务(Detection / Repair / Notice)
腾讯云公开的 MySQL 事件文档则区分了主节点拨测异常(MasterHealthCheckError)、主节点拨测恢复(MasterHealthCheckRecovery)、主备切换(Switch)和备节点恢复(SlaveHealthCheckRecovery)。文档说明,主节点在拨测异常后恢复,可能意味着 HA 切换回滚、并未实际切换;出现 Switch 并随后备节点恢复,才表示切换成功。这说明“探测异常”和“切换完成”是两个不同事件。腾讯云:云数据库 MySQL 拨测异常事件
腾讯云还说明,双节点、三节点等架构进行主备切换会出现短暂不可用;正常切换场景文档描述不超过 30 秒,但故障场景下切换时间可能延长。因此,真实系统需要接受检测和切换存在时间成本,并要求应用具备自动重连能力。腾讯云:云数据库 MySQL 实例切换影响
这些公开资料能帮助我们理解云厂商对外描述的设计思路,但不能据此推断其内部所有探测算法、选举协议或 Fencing 实现。
四、第二道难题:复制延迟不同,怎样选择最安全的新主库?
MySQL 从库的数据链路可以简化成:
过去最容易犯的错误,是说“比较 executed_gtid_set 最大的从库”或“选择复制延迟最小的从库”。
问题是:GTID 是事务集合,不是可以直接比较大小的数字;延迟指标也不能证明哪个副本保存了更多完整事务。
1. 区分已接收与已执行的 GTID
1 | Primary Binlog |
- Executed GTID:已经执行的事务集合;
- Retrieved GTID:从主库获取的事务集合;
- Relay Log:收到但可能尚未应用的复制事件。
Retrieved GTID 不能单独证明事务已经完整、可安全重放。选主前还要检查 Relay Log 完整性、复制通道状态、错误、已执行事务和可恢复的数据。
2. 一个典型场景
假设原主库已经执行 GTID 1~100:
| 节点 | 已执行 | 已接收 |
|---|---|---|
| Replica A | 1~98 | 1~100 |
| Replica B | 1~99 | 1~99 |
不能因为 B 已执行 99 就立即选 B。A 可能已经完整收到 100,只差应用。
如果验证 A 的 Relay Log 完整、可安全执行剩余事务,则先应用到 100,最终 A 比 B 更完整。反之,若第 100 个事务未完整接收或无法验证,就不能假定 A 一定更好。
3. 使用集合关系比较,而不是比较数量
MySQL 提供 GTID_SUBSET() 和 GTID_SUBTRACT():
1 | -- 判断 A 的事务是否均包含在 B 中 |
这些函数比较的是事务集合包含关系。实际决策还要考虑事务来源、可恢复性、复制链路健康、旧主是否已隔离等,而不是只看一个函数的返回值。
4、如果 GTID 集合分叉,是停止切换还是继续?
这正是前面讨论中最有价值的追问。假设:
1 | Replica A: old-primary-uuid:1-100 |
两者互不包含。B 多出的本地事务可能是直接写入从库形成的 Errant Transactions,也可能与更复杂的复制历史有关。
安全策略不是“有分叉一律停止”,而是“无法证明安全时暂停自动切换”。
| 分叉情况 | 自动恢复策略 |
|---|---|
| 只有某个候选存在可确认的异常额外事务;另一候选有完整合法历史 | 排除异常候选,在确认旧主隔离、数据满足 RPO 后可以继续 |
| 两个候选各有独有事务,且来源/合法性无法确认 | 暂停自动选主,保留 Binlog 与现场,通知 DBA |
| 经过人工或受控自动化验证,能安全修复与重建历史 | 修复后重新评估候选,再继续切换 |
这里绝对不能简单把两个 GTID 集合“合并”当成数据合并。GTID 记录事务身份,并不自动处理冲突的 SQL 写入,也不保证相同 GTID 对应的业务数据已经一致。
我倾向于让选主器返回 SAFE、RECOVERABLE、UNSAFE 三类结果。其中 SAFE 不是简单的“GTID 最多”,而是通过一组预定义安全检查的结论;UNSAFE 则要阻止新主对外开放写入。
5、即使 GTID 选主正确,也可能丢失已确认事务
这又是一个常见误区。
假设所有从库最多同步到 GTID 100,但故障前主库已经向客户端确认 GTID 101~105 提交成功。采用异步复制时,这五个事务可能从未到达任何从库。
此时我们选择了最完整的 Replica,也无法恢复没有被复制出来的事务。
要区分两类操作:
| 类型 | 方案 |
|---|---|
| Switchover:计划内切换 | 停止新写入,确认在途事务完成,等待指定 GTID 集合追平,再安全切换 |
| Failover:突然宕机 | 按复制模式和可恢复日志确定数据上限,结合 RPO 决定自动恢复还是人工介入 |
半同步复制能降低风险,但不能简单宣称“启用了半同步就永不丢数据”。MySQL 半同步存在超时回退异步的配置,也要区分 AFTER_SYNC、AFTER_COMMIT、ACK 数量和确认副本是否能被提升。具体语义应以运行时配置和官方文档为准。
五、第三道难题:ProxySQL 更新成功,业务就能无感切换吗?
ProxySQL + Keepalived + VIP 是一个合理的代理层高可用组合,但要避免把“入口 IP 不变”理解为“客户端连接和事务一定不受影响”。
- VIP 漂移不能将已有 TCP 连接原样迁移到另一台代理;连接可能需要重建。
- ProxySQL 可以动态调整后端 Hostgroup 和路由,但多个代理节点的配置仍需同步、验证及正确加载。
- Connection Multiplexing 主要是后端连接复用,不等于能够迁移正在进行的事务。
- 数据库主从切换期间,在途 SQL 可能报错,尤其是事务提交结果不确定时,不能简单无脑重试。
为什么我不推荐简单的“内存缓存 SQL 后重放”
之前笔者在实现时考虑在 ProxySQL 与 RDS 之间添加写入缓冲层,将切换期间的 SQL 暂存内存,再向新主库重放。
这个方案会碰到一个危险场景:旧主库已经提交了扣款事务,但响应在网络上丢失。缓冲层认为请求失败,在新主库重新执行,就可能重复扣款。
1 | UPDATE account |
没有完整的事务边界、持久化顺序、幂等键、提交结果确认与故障恢复机制,通用 SQL 缓冲层不宜作为高可用的默认方案。
更稳妥的策略是:计划内切换通过受控停写与追平实现平滑交接;异常切换允许短暂不可写,要求应用使用连接池重连、超时控制与业务幂等机制。 对不确定是否提交成功的写操作,必须先核对业务结果,而非直接重试。
六、第四道难题:Failover 执行一半,Go 服务自己宕机了怎么办?
这其实是平台 Server 角度最值得展开的工程问题。假设已经把 Replica A 提升为新主,但尚未更新 ProxySQL,此时执行 Failover 的 Go 进程宕机。
新的 Worker 不能简单从头执行,因为数据库已经发生了部分不可逆状态变化。
所以我会把 Failover 实现成可恢复的持久化状态机。
1. 状态机示例
1 | DETECTED |
每个状态不是“命令发送成功”就推进,而是必须验证实际状态已经满足对应不变量。对于不能简单回滚的步骤,优先进行向前恢复,必要时停止自动操作。
2. Go 数据结构示例
1 | type FailoverTask struct { |
任务元数据库保存 Task ID、集群、当前步骤、操作者、版本、外部操作 ID、错误和时间戳等。每个集群需要限制互斥的有效变更操作,状态推进应使用事务或 CAS 防止并发覆盖。
3. 恢复时要先“核对真实状态”,而不是简单重放
当新的 Leader 接管任务时:
- 通过可靠的协调机制获得当前有效的执行权和新 Epoch。
- 查询持久化 Task 及操作日志。
- 查询 MySQL 角色、GTID、只读状态,以及 ProxySQL 实际路由。
- 判断上一步是否已经生效:如果已生效,验证后推进状态;如果未生效且可安全重试,继续执行;如果状态不明确,进入受控恢复。
- 拒绝旧 Epoch 的过期操作,并确认已经下发的旧操作不会越权继续修改集群。
这里特别要注意“执行成功、响应丢失”的场景。Agent 完成提升,但 HTTP/gRPC 返回失败,Server 不能据此认定数据库没有提升;应该查询真实拓扑来进行 Reconciliation(期望状态与实际状态协调)。
Epoch 校验也不能只在 Go 函数开头做一次。需要防止“校验完立即失去领导权,但旧命令已经发出”的竞态,必要时将 Fencing Token 和操作权限落实到真正会修改资源的边界。
4. 不要把恢复等同于简单回滚
| 失败点 | 推荐处理 |
|---|---|
| 旧主尚未隔离 | 允许取消切换,保留现有拓扑 |
| 已隔离旧主,还未提升候选 | 重新验证候选并继续,或安全暂停 |
| 已提升新主,但代理未更新 | 保持旧主隔离,核对新主后继续更新路由 |
| 新主已经开始接受写入 | 不直接回滚旧主;优先向前完成切换 |
| 其他从库重建失败 | 将集群标为 DEGRADED,先保持安全的主库,再修复副本 |
这说明 Failover 并不是一个可以全程用数据库事务包住的操作。它更接近受状态机约束、部分步骤只能向前恢复的分布式工作流。
七、一个可落地的自动故障转移决策流程
1 | Sentinel 多点检测主库异常 |
这里没有假设所有操作都一定成功,反而刻意设计了暂停、降级和人工介入状态。
八、常见线上故障与排查策略
| 故障场景 | 主要风险 | 建议措施 |
|---|---|---|
| 主库网络短暂抖动 | 误判、反复切换 | 多点检测、连续失败门槛、恢复冷却期 |
| 主库能连通但 SQL 卡住 | 进程存活、业务不可用 | 连接探测 + 查询探测 + 延迟趋势分析 |
| 网络分区、旧主仍可写 | 双主脑裂 | Fencing、路由检查、必要时暂停自动恢复 |
| 两个候选 GTID 分叉 | 误选主、隐藏数据冲突 | 双向差集、核对事务来源、无法验证则人工介入 |
| ProxySQL 节点配置不同步 | 仍指向旧主或写入失败 | 路由版本、配置校验、运行时验证 |
| 旧 Leader 在网络恢复后继续操作 | 并发提升、拓扑破坏 | Epoch/Fencing Token、过期操作拒绝 |
| Worker 在执行中崩溃 | 中间状态无人处理 | 持久化任务、幂等、状态协调、接管 |
| 旧主恢复后重新入群 | 旧数据分叉、双主风险 | 保持隔离,核对数据并以从库身份安全重建 |
| rds-ha 服务 OOM | 监控或切换能力失效 | pprof、连接资源管理、告警、进程自愈及容量限制 |
最后这一项来自我的历史排障笔记:rds-ha 服务曾出现 OOM,排查时通过 pprof 和数据库连接状态定位连接未正确关闭的问题。这一案例提醒我:高可用控制服务自身也必须是可观测、可恢复的。不过它属于独立的线上排障案例,不应未经核实就说它直接导致了某次数据库主从切换故障。
九、如何验证这套 HA 真正可靠?
上线前不能只测试“杀掉 Primary,然后观察 Replica 是否成为 Primary”。还要进行系统性故障注入:
- 停止 MySQL 进程、关闭 VM、磁盘故障或资源耗尽。
- 模拟单向网络中断与多节点网络分区。
- 人为制造复制延迟、复制报错和 GTID 异常事务。
- 让 Leader 在 PROMOTED 后、ROUTING_UPDATED 前宕机。
- 模拟 Agent 返回超时,但实际操作已经成功。
- 让旧 Leader 恢复并尝试发送过期指令。
- 模拟 ProxySQL 故障、VIP 漂移与多代理路由不一致。
- 故障恢复后让旧 Primary 尝试重新加入,验证不会误变成可写主。
验收指标不能只看 RTO,还应该持续写入带唯一业务 ID 的事务,记录客户端哪些事务已经收到成功响应;切换之后核对是否丢失、重复或发生数据分叉,计算实际 RPO,并观察重试错误与业务可用性。
总结
回顾整个 RDS 高可用系统,最难的其实是三个决策:
- 什么时候允许切换? 多数派检测并不等于可以安全提升新主,旧主隔离是关键。
- 应该提升谁? 不是 GTID 最多或复制延迟最低,而是数据历史最完整、可验证、满足业务 RPO 的候选。
- 切换失败后怎么办? 依靠持久化状态机、Epoch、幂等和真实状态协调安全接管,而不是从第一行代码重跑。
高可用不是保证永远不出错,而是让系统在最坏的故障条件下仍能做出安全、可解释、可恢复的决定。