Linux 上一个进程「卡住」了,我一般按这个顺序查

Linux排查性能

线上服务没死但也不干活的时候,先别急着重启。重启会把现场毁掉,而且大概率过几天再来一遍。下面是我自己用的排查顺序,从最便宜的工具开始。

第一步:top 看状态和 CPU

top -p <pid>
# 或者
ps -o pid,stat,%cpu,%mem,wchan:32,cmd -p <pid>

重点看 STAT 这一列,这是信息量最大的一个字段:

状态含义下一步去哪
R正在跑或可运行看 %CPU,高就是 CPU 瓶颈
D不可中断睡眠,通常在等 IOiostat、iotop
S可中断睡眠,正常等待看 wchan 在等什么
Z僵尸进程查父进程,wait() 没调用
T被 stop 信号暂停谁发了 SIGSTOP,或者调试器

D 状态是最值得警惕的,因为它不可中断,连 kill -9 都杀不掉,必须等 IO 返回。

再看 wchan(内核等待通道),这个字段直接告诉你在等什么:

cat /proc/<pid>/wchan
# 常见值
# 0            → 正在 CPU 上跑
# futex_wait    → 等锁
# do_wait       → 在等子进程
# ep_poll       → 在 select/poll/epoll
# sk_wait_data  → 等网络数据
# io_schedule   → 等磁盘 IO

第二步:看它到底在跑什么

# 看这个进程的所有线程,哪个线程在吃 CPU
top -H -p <pid>
# 或者一次看全
ps -L -o pid,tid,stat,pcpu,wchan:24,comm -p <pid> | sort -k4 -rn | head -20

如果有线程在 R 上跑满,把线程号转成十六进制,去 jstack / pprof 里对应:

printf '%x\n' <tid>
# 然后
jstack <pid> | grep <hex>

Go 服务的话直接 kill -QUIT <pid> 打 goroutine 栈,或者上 pprof。

第三步:如果 STAT 是 D,看磁盘

iostat -x 1 5

关注两列:

  • %util —— 设备繁忙度。持续 100% 说明磁盘饱和了。
  • await —— 平均耗时(含排队)。机械盘超过 20ms、SSD 超过 5ms 就有问题了。

再看这个进程具体在读什么:

# 需要 sysdig 或 perf
sudo cat /proc/<pid>/stack          # 内核栈,能看到卡在哪个 IO 函数
ls -l /proc/<pid>/fd | head -40     # 打开了哪些文件
sudo lsof -p <pid> | grep -i deploy # 大文件/网络挂载

一个高频原因:网络挂载(NFS / CFS)不可用了。 进程读一个在 NFS 上的文件,NFS 服务端挂了,进程就永久 D 在那。这种最坑,因为本地看不出任何异常。用 mount | grep nfs 确认,然后 df -h 看挂载点是否 hang。

第四步:看它系统调用卡在哪

strace 是重型武器,但很有效。注意:strace 会让进程变慢,生产环境慎用,尽量只跟一个线程。

# 只看这个进程的系统调用,不跟子进程
sudo strace -f -p <pid> -tt -T -e trace=network,desc

# 只看慢于 100ms 的调用
sudo strace -p <pid> -T -e trace=all 2>&1 | awk -F'<' '{if ($2+0 > 0.1) print}'

几个典型的卡点:

  • 大量 futex(..., FUTEX_WAIT → 锁竞争。去查代码里的互斥量。
  • read() 停在网络上 → 对端没发数据或网络断了。
  • epoll_wait 长时间不返回 → 正常,空闲的 event loop。
  • connect() 不返回 → 通常是被防火墙 DROP 了,或者对端 accept 队列满了(此时用 ss -lnt 看 Send-Q)。

顺便,如果只是想看网络连接状态,strace 太重了:

ss -s                      # 汇总
ss -tnp state established  # 已建立的连接和对应进程
ss -lnt                    # 监听队列,Send-Q 大说明 backlog 满
netstat -s | grep -i retrans

第五步:内存和换页

如果机器内存吃紧,进程会频繁换页,表现出来就是「能跑但特别慢」。

vmstat 1 5
# si/so 列持续不为 0 → 在换页,性能会断崖下跌

free -h
cat /proc/<pid>/status | grep -E 'VmRSS|VmSwap'

VmSwap 不为 0 就说明这个进程被换出去了一部分,访问换出去的页时会有明显停顿。容器里更常见——cgroup 内存限制卡住的话,会看到 memory.events 里 oom 或 high 计数在涨。

cat /sys/fs/cgroup/memory.events

按症状快速定位

症状大概率原因命令
STAT 是 D,%CPU 为 0磁盘或网络挂载 IO 卡住iostat -x、cat /proc/pid/stack
STAT 是 R,单核跑满死循环或热点函数top -H、pprof
STAT 是 S,wchan 是 futex_wait锁竞争strace -f、perf lock
响应慢但 CPU 不高换页、网络往返、下游慢vmstat、ss、链路追踪
没有子进程但 wchan 是 do_wait僵尸子进程`ps -eo stat,ppid,pid,cmd \grep Z`
内存不涨但越来越慢文件描述符/连接泄漏`ls /proc/pid/fd \wc -l`

一个真实例子

去年遇到过一次:服务健康检查超时,但 CPU、内存、磁盘指标全正常。

按顺序走:STAT 是 S,wchan 是 sk_wait_data——在等网络。ss -tnp 一看,到下游 Redis 的连接数一直在涨而且都不释放,ls /proc/pid/fd | wc -l 已经三万多了,接近 ulimit -n。

原因是有个分支忘了 Close() 连接池里的连接。ulimit 一到就打不开新连接,所有请求都在等待。

从「卡住」到定位大概十分钟,工具只用了 top、ss 和 ls /proc/pid/fd。大部分情况下不需要 strace,先看状态字段和 wchan 就能把范围缩小到一两个方向。