用了三年 etcd 才搞明白 lease 续期为什么会导致性能抖动

etcd分布式Kubernetes

我们的服务注册中心用的 etcd,模式很常规:每个实例启动时创建一个 lease,TTL 30 秒,把自己注册进去,然后后台每 10 秒续期一次。

这个模式稳定跑了两年,直到实例数从几百涨到三千多之后,etcd 开始出现规律性的 CPU 尖刺,大约每 10 秒一次,持续 1-2 秒,期间 etcd_server_leader_changes_seen_total 没动,但 watch 的推送延迟明显变大。

现象:10 秒周期

先看监控。etcd 的 grpc_server_handled_total 按方法拆开,发现尖刺全部来自两个方法:

  • LeaseKeepAlive
  • Range(watch 建立时的初始查询)

每 10 秒,三千多个实例同时发 LeaseKeepAlive,因为它们的续期间隔是一样的,而且大多是在同一分钟内部署起来的。

etcd 处理一次 LeaseKeepAlive 不是简单地重置一个计时器。它会:

  1. 找到 lease 对象
  2. 更新过期时间
  3. 广播给所有 watch 该 lease 的 watcher(如果有)

第三步是重点。我们把实例信息都存在 /services/{name}/{instance-id} 下,key 带了 attach lease。每个实例都 watch 整个 /services/ 前缀,所以任何一次 lease 续期引发的变化,理论上都可能触发一次推送。

实际上续期本身不改变 value,etcd 会做判断,但 lease 的 revoke(过期)会删 key,那才是真的一堆 watch 事件。问题就在于续期抖动导致部分实例续期失败,三十秒后集中过期,然后所有 watch 同时收到几千个 DELETE 事件。

三个真实原因

排查了两周,最后是三个问题叠加:

一、续期间隔没有抖动

所有实例都在 创建时间 + 10n 秒续期。部署是滚动做的,但一轮部署下来,几千个实例的续期相位差不了几百毫秒。

二、续期失败没有重试

原来的代码是这样:

ticker := time.NewTicker(10 * time.Second)
for {
    select {
    case <-ticker.C:
        ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second)
        // 失败就算了,等下一个 tick
        _, _ = cli.KeepAliveOnce(ctx, leaseID)
        cancel()
    case <-done:
        return
    }
}

如果一次续期因为 etcd 慢而超时,要等 10 秒才有下一次机会。而 lease TTL 是 30 秒——连续失败三次,key 就没了,其他实例就收到 DELETE。超时 2 秒 + TTL 30 秒 + 间隔 10 秒,这个组合太紧了,正常抖动就会触发。

三、watch 的量级

三千个实例各自 watch 整个 /services/ 前缀,意味着一次变更要推给三千个连接。这是 O(N²) 的广播。

改了什么

给续期加抖动。 这是收益最大的一处:

base := 10 * time.Second
// ±20% 抖动
jitter := time.Duration(rand.Int63n(int64(base/5))) - base/10
ticker := time.NewTicker(base + jitter)

改完之后 10 秒尖刺就散开了,峰值 CPU 掉了大概 60%。就这么简单的一件事,但因为它「看起来没必要」而被忽略了很久。

用 KeepAlive 长连接代替 KeepAliveOnce。 etcd 客户端提供了流式的续期接口,一个 goroutine 一条流,服务端把续期合并处理:

ch, err := cli.KeepAlive(ctx, leaseID)
if err != nil {
    return err
}
go func() {
    for range ch {
        // etcd 会自动按 TTL/3 续期,收到消息说明还活着
    }
}()

注意 for range ch 这个循环必须消费,否则 channel 满了会阻塞,续期就停了。这一点文档里写得不太显眼,我见过有人开了 KeepAlive 之后没有消费 channel,结果比 KeepAliveOnce 还容易掉。

把 TTL 和续期间隔拉开。 改成 TTL 60 秒、续期间隔 20 秒,容忍两次连续失败。代价是实例真正挂掉后,其他实例最多要 60 秒才知道,而不是 30 秒。这个取舍要和业务确认——对我们来说,多等 30 秒发现故障,比频繁的假故障告警划算。

watch 的粒度收窄。 每个实例只 watch 自己需要的服务名,而不是整个 /services/ 前缀。这一条改动最大,但效果也最明显:广播从 O(N²) 降到 O(N)。

关于 etcd 的一个认知调整

etcd 是强一致的,它用 Raft 保证每次写入要多数派确认。这意味着它的写入吞吐上限不高,官方给的参考值也就每秒一两万次。三千个实例每 10 秒续期一次是 300 QPS,看起来远没到上限,但加上 watch 广播和 Range 请求,实际压力要放大好几倍。

把 etcd 当「注册中心」用是它的设计用途,但别把它当高频 KV 用。如果租约续期频率要超过每分钟一次,可能该考虑别的方案了。

排查时用的命令

# 看 lease 数量和 TTL 分布
etcdctl lease list --write-out=json | jq '.leases | length'

# 看哪个 prefix 下的 key 最多
etcdctl get --prefix /services/ --keys-only --limit=100000 | wc -l

# 看某个 key 挂在哪个 lease 上
etcdctl get /services/api/instance-001 -w json | jq '.kvs[0].lease'

顺带一提,etcd_debugging_mvcc_db_total_size_in_bytes 和 etcd_disk_backend_commit_duration_seconds 这两个指标要一直盯着。etcd 的性能问题一大半最后都是磁盘 fsync 慢导致的,跟我们的情况无关但值得先排除。