MySQL 主从延迟排查,别一上来就调并行复制

MySQL复制线上问题

线上一个从库延迟报警,Seconds_Behind_Master 从 0 一路爬到 4000 多,持续了大概二十分钟才回落。运维同事的第一反应是调大 slave_parallel_workers,我拦下来了,因为延迟是突然出现的,而并行度这种参数调了也不会让一个已经堆积的队列瞬间变空。

先把现场信息收齐。

SHOW SLAVE STATUS\G
SHOW PROCESSLIST;
SELECT * FROM performance_schema.replication_applier_status_by_worker;

SHOW SLAVE STATUS 里几个值值得注意:

  • Seconds_Behind_Master 大,但 Slave_SQL_Running_State 显示的是 Waiting for dependent transaction to commit
  • Relay_Log_Pos 一直在动,说明 IO 线程正常,网络没有堵
  • Retrieved_Gtid_Set 和 Executed_Gtid_Set 的差集很大

第 2 条很关键。它说明 SQL 线程不是卡在磁盘 IO 上,而是卡在等待依赖事务提交——也就是并行复制在工作,但某个事务一直没提交,它后面的所有事务都被挡住了。

去主库上找那条 UPDATE

performance_schema 里按执行时间倒着找:

SELECT DIGEST_TEXT, COUNT_STAR, SUM_TIMER_WAIT/1e12 AS total_sec, SUM_ROWS_AFFECTED
FROM performance_schema.events_statements_summary_by_digest
ORDER BY SUM_TIMER_WAIT DESC
LIMIT 10;

排第一的是一条长这样的事务:

BEGIN;
UPDATE t_order SET status = 3 WHERE create_time < '2026-03-01';
COMMIT;

SUM_ROWS_AFFECTED 是两千万。业务方写这个是为了「清理历史订单状态」,直接在主库上全表范围更新,走了索引但还是锁了两千万行,binlog 里就是一个巨大的 ROW 格式事务。

从库 SQL 线程必须把这一个事务整个执行完才能提交,而它执行期间又持有行锁,并行复制的其他 worker 因为依赖关系排队等它——于是延迟就是这么来的。

为什么说别急着调并行复制

把并行度从 4 调到 16 在这里完全没用:瓶颈是单个事务,不是事务之间的并行度。MySQL 5.7 的 slave_parallel_type=LOGICAL_CLOCK 只能在主库上同一组提交的事务之间并行,一个两千万行的事务内部无法拆分。

而且盲目调大并行度有副作用:worker 多了之后 relay_log 的 group commit 更碎,从库的 fsync 压力上去了,如果从库磁盘本来就慢,反而更容易抖。

真正要分三种情况看:

现象大概率原因该动什么
延迟持续增长,IO 线程也慢网络或主库 binlog 发送瓶颈查网络、binlog_row_image、网络压缩
SQL 线程 state 是等待依赖提交大事务 / 热点行拆事务,而不是调并行度
延迟只在写入高峰出现,能自行恢复从库单线程写入能力不足并行复制、升级从库磁盘
延迟单调增长不回落从库有慢查询,或 SQL 线程报错重试看 Last_SQL_Error、从库慢日志
每隔几小时固定抖动备份任务、DDL、大查询错开备份时间

怎么修的

短期:主库上 kill 掉那个事务,让业务方按主键区间分批做。

-- 不要这样
UPDATE t_order SET status = 3 WHERE create_time < '2026-03-01';

-- 这样,每批一万行,批间睡一会儿
UPDATE t_order SET status = 3
WHERE create_time < '2026-03-01' AND status <> 3
ORDER BY id LIMIT 10000;

长期做了三件事:

  1. 在测试环境加了一条规则:单事务影响行数超过 50 万直接告警。靠人自觉是没用的。
  2. binlog_row_image 从 FULL 改成 MINIMAL,这个表的 binlog 体积小了一大截,减少从库压力。
  3. 从库加了 slave_pending_jobs_size_max 和监控 Replication_applier 相关的 metrics,下次能更早看到是「等待依赖」还是「真的慢」。

一点反思

延迟这件事,Seconds_Behind_Master 只是症状。我见过太多人盯着这个数字然后开始调参数,实际上应该先回答一个问题:SQL 线程在等什么?

Slave_SQL_Running_State 这一个字段就能把排查范围砍掉一大半。