Redis 的 bigkey 不是「大」的问题,是「阻塞」的问题
发现过程很偶然。一个缓存实例的 P99 从 2ms 涨到 40ms,但 QPS 和内存都没变化。看慢日志:
1) 1) "timestamp"
2) "1783000000"
3) "131072" # 耗时 131 毫秒
4) 1) "HGETALL"
2) "user:profile:88217"
HGETALL 花 131 毫秒。单看一条命令返回的数据就明白了——这个 Hash 有八十多万个 field。
为什么 bigkey 危险
Redis 是单线程执行命令的(6.0 之后网络 IO 多线程,但命令执行还是单线程)。一条命令执行多久,其他所有请求就等多久。
所以 bigkey 的问题不是「占用内存多」,而是它把整个实例卡住了。100MB 的 String 做一次 GET 要序列化传输 100MB;八十万 field 的 Hash 做一次 HGETALL 要遍历整个哈希表并打包成 RESP 协议。
几个量级参考(经验值,跟硬件和网络有关):
| 操作 | 数据量 | 大致耗时 |
|---|---|---|
GET | 1MB String | 1-3 ms |
GET | 100MB String | 100-300 ms,且会打满网卡 |
HGETALL | 10 万 field | 30-80 ms |
DEL | 100 万元素的集合 | 200 ms 以上,同步阻塞 |
KEYS * | 100 万 key | 秒级到十几秒 |
最后一行是另一类问题,KEYS * 应该在生产环境直接禁用(用 SCAN 代替)。
怎么找 bigkey
redis-cli --bigkeys,扫全库,但注意它会遍历所有 key,在线上跑要评估影响:
redis-cli --bigkeys -i 0.1 # -i 0.1 表示每扫 100 个 key 睡 0.1 秒
输出按类型分组,给出每种类型最大的 key。
MEMORY USAGE,精确查单个 key:
redis-cli MEMORY USAGE user:profile:88217 SAMPLES 0
# SAMPLES 0 表示全量扫描,不加的话是抽样估算
离线分析 RDB,最安全的方式,不影响线上:
redis-rdb-tools -f memory report /path/to/dump.rdb > memory.csv
sort -t, -k4 -rn memory.csv | head -50
这个方式我最推荐。用从库的 RDB 副本分析,对线上零影响,还能看到完整的 key 分布。
自己写 SCAN 脚本,最灵活:
import redis
r = redis.Redis(host="127.0.0.1", port=6379, decode_responses=True)
cursor, total, big = 0, 0, []
while True:
cursor, keys = r.scan(cursor=cursor, count=200)
total += len(keys)
for k in keys:
if r.type(k) in ("hash", "list", "set", "zset"):
size = r.memory_usage(k)
if size and size > 1024 * 1024: # 超过 1MB 记为 bigkey
big.append((k, r.type(k), size))
if cursor == 0:
break
for k, t, s in sorted(big, key=lambda x: -x[2])[:30]:
print(f"{s/1024/1024:8.2f} MB {t:6} {k}")
注意 SCAN 只保证「在扫描期间一直存在的 key 会被返回至少一次」,可能重复返回。用 set 去重。
删除时的坑
发现 bigkey 之后,不要直接 DEL。
DEL 是同步的,删一个百万元素的集合,Redis 会阻塞几百毫秒。我们那次就是在低峰期 DEL 了一个大 Hash,结果那个瞬间所有请求都超时了——低峰期也是有请求的。
用 UNLINK(Redis 4.0+),它把 key 从 keyspace 摘掉之后,把实际的内存释放交给后台线程:
redis-cli UNLINK user:profile:88217
如果版本太老或者要删的 key 特别多,可以分批删:
# 用 HSCAN 分批删 field
redis-cli --eval del_big_hash.lua user:profile:* , 1000
Lua 脚本(保证每批的原子性):
-- del_big_hash.lua
-- KEYS[1] = key 模式, ARGV[1] = 每批删除量
local cursor = "0"
local removed = 0
repeat
local r = redis.call("HSCAN", KEYS[1], cursor, "COUNT", ARGV[1])
cursor = r[1]
local fields = r[2]
for i = 1, #fields, 2 do
redis.call("HDEL", KEYS[1], fields[i])
removed = removed + 1
end
until cursor == "0"
return removed
不过说实话,能 UNLINK 就 UNLINK,写 Lua 分批删容易出错,我见过脚本写错把整个 key 删掉的。
从设计上避免
删掉只是治标。根因是把一个会不断增长的结构当成一个 key 来用。
我们那个 user:profile:{id} 的 Hash,存的是用户的历史行为记录,会一直追加。改成 HASH 按时间分片:
user:profile:88217:2026-01 → 当月记录
user:profile:88217:2025-12
或者干脆别用 Redis 存这种数据,扔到 MySQL 或者 ClickHouse 里去。
几条设计上的原则:
- 单个 key 的值控制在 10KB 以内(redis-rdb-tools 的作者建议的阈值)。超过就要考虑拆。
- 集合类结构控制元素数量,一般不超过 5000。超了就按 hash 取模分片,
user:profile:88217:3这样。 MGET的 key 数量控制在 100 以内,HMGET同理。大 Key 的批量操作会把阻塞放大。- 不要用 Redis 存二进制大对象,图片、文件放对象存储。
- 加监控:用
MEMORY USAGE定期抽样或者分析 RDB,发现超过阈值的 key 直接告警。
告警阈值
我们最后配的规则:
- 单 key 内存 > 1MB → 提醒
- 单 key 内存 > 10MB → 告警
- Redis 实例平均 value 大小 > 5KB → 提醒
redis-cli --bigkeys结果里出现 > 10MB 的 key → 告警
另外一定要监控 latency 和 commandstats:
redis-cli --latency-history -i 5
redis-cli INFO commandstats | grep -E "hgetall|keys|smembers"
commandstats 里能直接看到每种命令的平均耗时和调用次数,平均耗时高的但不常调用的命令,就是 bigkey 的嫌疑对象。这个比 --bigkeys 更早能发现问题,因为它反映的是实际影响,而不是数据体积。