vLLM 0.6 双卡 tensor parallel 启动报 NCCL timeout 通信超时怎么排查

现象

用两张 4090 起 vLLM 0.6 服务,加上 tensor-parallel-size 2 后进程卡在初始化阶段,大约一分钟后报 NCCL timeout,日志里出现 watchdog caught a collective operation timeout 字样,改成单卡启动则完全正常。

原因

张量并行要求两张卡之间做集合通信,NCCL 会自己选择网卡和传输方式。容器里共享内存太小、两张卡挂在不同的 CPU 根节点上、防火墙挡掉了本地回环之外的通信,都会让建链超时。其中一张卡还被别的进程占着显存时,也会卡在同一阶段,看上去像网络问题。

解决步骤

第一步,打开 NCCL 日志看卡在哪一步。把调试级别调到 INFO,能看清用的是哪块网卡、有没有走 P2P,先拿到证据再改配置。

export NCCL_DEBUG=INFO
export NCCL_SOCKET_IFNAME=eth0
export NCCL_IB_DISABLE=1
export NCCL_P2P_DISABLE=1

第二步,先关 P2P 做对照。部分消费级卡的多卡组合不支持 P2P,关掉后如果立刻能起,说明是拓扑问题,可以在启动脚本里固化这个变量,代价是带宽略降。

第三步,补容器资源。docker run 时加 --shm-size=16g 并挂载全部设备,宿主机用 nvidia-smi topo -m 看两张卡是否在同一 NUMA;跨节点时把进程绑到同一侧的 CPU 上,减少跨节点通信。

验证

启动日志出现 Application startup complete,两张卡的显存都被占用;并发压测十分钟不出现 NCCL timeout,吞吐接近单卡的两倍,说明并行真正生效。

小结

NCCL 超时先看拓扑和共享内存,不要急着换卡。开日志、关 P2P 对照、补 shm-size,多数双卡环境都能跑起来。

您可以还会对下面的文章感兴趣: