AI 集群里最贵的东西是 GPU,而 GPU 最怕的事是「等」。训练大模型时,几千颗 GPU 每算完一小步,就要互相交换一次梯度数据——网络慢一拍,所有 GPU 一起干等一拍。一个百亿美元级的集群,网络每拖慢 10%,等于烧掉几亿美元的算力空转。
所以 AI 数据中心的网络不是「配套设施」,而是决定整个集群能不能像一台机器一样工作的神经系统。
东西向:AI 流量的方向
传统机房的流量主要是「南北向」——用户请求从外面进来,响应回出去。AI 训练的流量恰好相反,绝大部分发生在集群内部、GPU 与 GPU 之间,行话叫「东西向流量」。它的量级远超对外流量:对外可能是每秒几百 G,内部则是每秒几百 T。
网络架构因此彻底改写:重点不再是「接入互联网的出口有多粗」,而是「任意两颗 GPU 之间的路有多宽、多短」。
组网:leaf-spine 的对称之美
leaf-spine 架构的精髓是对称:每台 leaf 都连到每台 spine,任意两台服务器之间的距离完全相同,带宽设计成无阻塞——不管哪两颗 GPU 说话,都不会堵车。集群越大,这张网就越深(两级变三级),交换机与链路数量随之陡增。
光模块:电与光的翻译官
跨机柜的链路距离超出了铜缆的能力,必须用光纤;而交换机和网卡说的是「电」,光纤说的是「光」——两种语言之间的翻译官,就是插在设备端口上的光模块。
三个数字感受一下这门生意的弹性:
- 一颗 GPU 通常对应一个高速网络端口,一条跨柜链路两端各要一只光模块。
- 集群规模翻倍,GPU 数量翻倍,但链路数按更陡的曲线增长——光模块用量增长快于 GPU 本身。
- 速率代际两三年一跳:400G、800G、1.6T,每一跳都是一轮全量替换需求。
- 1光模块端口 — 绿光点是正在工作的端口
- 2模块尾纤 — 白色插头后拖着两根细光纤
- 3光纤束 — 青色束里每根都跑着几百 G
- 4主干汇聚 — 米色粗束奔向上层核心交换机
InfiniBand 与以太网:两大阵营
AI 组网长期存在两条技术路线。InfiniBand 为高性能计算而生,延迟与拥塞控制天生优秀,由英伟达(收购 Mellanox 而来)主导,是训练集群的传统首选;以太网是数据中心的通用语言,生态开放、供应商多,配合新的无损技术(RoCE)正在快速追平差距。
这场路线之争的商业含义:选 InfiniBand 意味着网络这一层也交给英伟达;选以太网则让博通、Arista、思科们留在牌桌上。超大规模买家正在有意扶持以太网阵营——没有人愿意让同一家供应商同时垄断算力和网络。
谁在织这张网
| 子环节 | 代表公司 | 备注 |
|---|---|---|
| 光模块 | 中际旭创、新易盛、Coherent | 中国厂商占据全球主要份额 |
| 光芯片(激光器) | Lumentum、Coherent、源杰 | 光模块的上游核心 |
| DSP 芯片 | 博通、Marvell | 模块成本与功耗大头 |
| 交换芯片 | 博通、Marvell、英伟达 | Tomahawk / Teralynx / Spectrum |
| 交换机整机 | 英伟达、Arista、思科 | InfiniBand vs 以太网之争的前线 |
再往后看一步:当铜和光都逼近极限,业界的下一张牌是把光直接搬进芯片封装——共封装光学(CPO)。它一旦成熟,交换机、光模块、封装厂的分工都会重新洗牌。这条链上没有一劳永逸的座位。
继续深入
这张网连接的每个节点——GPU 服务器与数据中心本身——在「数据中心」一节有完整拆解;而支撑这一切运转的电力,是另一条同样紧张的补给线。
