MySQL 主从延迟排查,别一上来就调并行复制
线上一个从库延迟报警,Seconds_Behind_Master 从 0 一路爬到 4000 多,持续了大概二十分钟才回落。运维同事的第一反应是调大 slave_parallel_workers,我拦下来了,因为延迟是突然出现的,而并行度这种参数调了也不会让一个已经堆积的队列瞬间变空。
先把现场信息收齐。
SHOW SLAVE STATUS\G
SHOW PROCESSLIST;
SELECT * FROM performance_schema.replication_applier_status_by_worker;
SHOW SLAVE STATUS 里几个值值得注意:
Seconds_Behind_Master大,但Slave_SQL_Running_State显示的是Waiting for dependent transaction to commitRelay_Log_Pos一直在动,说明 IO 线程正常,网络没有堵Retrieved_Gtid_Set和Executed_Gtid_Set的差集很大
第 2 条很关键。它说明 SQL 线程不是卡在磁盘 IO 上,而是卡在等待依赖事务提交——也就是并行复制在工作,但某个事务一直没提交,它后面的所有事务都被挡住了。
去主库上找那条 UPDATE
performance_schema 里按执行时间倒着找:
SELECT DIGEST_TEXT, COUNT_STAR, SUM_TIMER_WAIT/1e12 AS total_sec, SUM_ROWS_AFFECTED
FROM performance_schema.events_statements_summary_by_digest
ORDER BY SUM_TIMER_WAIT DESC
LIMIT 10;
排第一的是一条长这样的事务:
BEGIN;
UPDATE t_order SET status = 3 WHERE create_time < '2026-03-01';
COMMIT;
SUM_ROWS_AFFECTED 是两千万。业务方写这个是为了「清理历史订单状态」,直接在主库上全表范围更新,走了索引但还是锁了两千万行,binlog 里就是一个巨大的 ROW 格式事务。
从库 SQL 线程必须把这一个事务整个执行完才能提交,而它执行期间又持有行锁,并行复制的其他 worker 因为依赖关系排队等它——于是延迟就是这么来的。
为什么说别急着调并行复制
把并行度从 4 调到 16 在这里完全没用:瓶颈是单个事务,不是事务之间的并行度。MySQL 5.7 的 slave_parallel_type=LOGICAL_CLOCK 只能在主库上同一组提交的事务之间并行,一个两千万行的事务内部无法拆分。
而且盲目调大并行度有副作用:worker 多了之后 relay_log 的 group commit 更碎,从库的 fsync 压力上去了,如果从库磁盘本来就慢,反而更容易抖。
真正要分三种情况看:
| 现象 | 大概率原因 | 该动什么 |
|---|---|---|
| 延迟持续增长,IO 线程也慢 | 网络或主库 binlog 发送瓶颈 | 查网络、binlog_row_image、网络压缩 |
| SQL 线程 state 是等待依赖提交 | 大事务 / 热点行 | 拆事务,而不是调并行度 |
| 延迟只在写入高峰出现,能自行恢复 | 从库单线程写入能力不足 | 并行复制、升级从库磁盘 |
| 延迟单调增长不回落 | 从库有慢查询,或 SQL 线程报错重试 | 看 Last_SQL_Error、从库慢日志 |
| 每隔几小时固定抖动 | 备份任务、DDL、大查询 | 错开备份时间 |
怎么修的
短期:主库上 kill 掉那个事务,让业务方按主键区间分批做。
-- 不要这样
UPDATE t_order SET status = 3 WHERE create_time < '2026-03-01';
-- 这样,每批一万行,批间睡一会儿
UPDATE t_order SET status = 3
WHERE create_time < '2026-03-01' AND status <> 3
ORDER BY id LIMIT 10000;
长期做了三件事:
- 在测试环境加了一条规则:单事务影响行数超过 50 万直接告警。靠人自觉是没用的。
binlog_row_image从FULL改成MINIMAL,这个表的 binlog 体积小了一大截,减少从库压力。- 从库加了
slave_pending_jobs_size_max和监控Replication_applier相关的 metrics,下次能更早看到是「等待依赖」还是「真的慢」。
一点反思
延迟这件事,Seconds_Behind_Master 只是症状。我见过太多人盯着这个数字然后开始调参数,实际上应该先回答一个问题:SQL 线程在等什么?
Slave_SQL_Running_State 这一个字段就能把排查范围砍掉一大半。