H200 验收:HBM3e 容量带宽校验与 NVLink 版本确认
先确认形态,再核对显存。H200 有 SXM 与 NVL 两种形态,两者不是同一种产品的包装差异。SXM 为 700W 液冷形态,走 NVLink 4.0 点对点互联,单 GPU 双向带宽 900GB/s;NVL 为风冷形态,通过 2~4 路 NVLink 桥接互联,带宽明显更低。现场先跑 nvidia-smi --query-gpu=name,memory.total --format=csv,确认显存总量为 143771 MiB(对应标称 141GB)而不是 80GB 一类的其他 SKU。看到 memory.total 明显低于 141GB,说明是 HBM 规格不符或存在扩容改造,需直接判退。
带宽与互联的双重确认。标称 141GB HBM3e、4.8TB/s 带宽,相对 H100 SXM 的 80GB/3.35TB/s 提升 43%。带宽无法用 nvidia-smi 直接读出,需借 gpu_burn -m 4096 1200 或 dcgmi diag -r 3 观察显存压力下的实际表现。NVLink 版本用 nvidia-smi nvlink -s -i <GPU 索引> 确认,H200 应显示 NVLink 4.0、900GB/s 级别;同时用 nvidia-smi topo -m 看 8 卡是否处于 NVSwitch 全互联域,若显示 PIX 或 NODE 而非 NV#,说明只连到 PCIe 而非 NVLink,机器配置与标称不符。拓扑异常也会让 8 卡实测算力达不到单卡的 7.2 倍。
固件与一致性核对。H200 属 Hopper 架构,NVIDIA 给出的最低驱动分支为 R525,低于该分支的驱动不支持或不支持完整功能。用 nvidia-smi -q | grep -E "VBIOS Version|GSP Firmware Version|Driver Version" 记录版本,8 张卡必须完全一致。H200 与 H100 共用 GH100 die,CUDA 核心数同为 16896、Tensor Core 528 颗,计算能力一致,因此实测算力低于标称时,优先排查散热与供电,而不是怀疑计算单元损坏——H200 的算力升级全部来自显存子系统。
压力测试基线与判定。验收烤机按 ./gpu_burn -d 3600 全卡双精度跑满 1 小时起步,结束要求所有卡 OK、错误数为 0,温度稳定在 60~80℃ 区间且不持续贴温度墙。显存专项用固定 -m 4096 跑多轮,保证 Gflop/s 与历史基线可比较。出现 FAULTY 时用 ./gpu_burn -i 2 -m 80% 1800 隔离单卡复现,单卡稳定复现 FAULTY 基本可判定为硬件问题。Windows 侧差异:gpu_burn 需 WSL2 + CUDA,且长时压测在 Windows 上易被电源管理与休眠策略打断,现场建议整机 Linux 裸跑。
