GPU:AI 的发动机

GPU 的全名是「图形处理器」,它为渲染游戏画面而生:屏幕上几百万个像素,每个都要做一遍几乎相同的计算。为了这个需求,GPU 被设计成一种奇特的处理器——不追求把一件事做得多快,而追求同时做几万件一样的事。

后来人们发现,训练神经网络的核心运算(矩阵乘法)恰好也是「海量、重复、彼此独立」的计算。为游戏而生的芯片,意外成了 AI 时代的发动机。

01为什么 GPU 擅长 AI

把 CPU 和 GPU 放在一起看,设计哲学的差异一目了然。

CPU 像几位全能教授:逻辑推理、任务调度样样精通,但人数少;GPU 像上万名小学生:每人只会算乘加,但可以齐刷刷同时动笔。AI 训练要做的恰好是天文数字量级的乘加运算——这份工作交给谁,答案不言自明。

这也解释了上一节 HBM 的存在:几万个小核同时要数据,喂数据的带宽必须同样夸张。GPU 与 HBM 是绑定进化的一对。

02一块加速卡上有什么

数据中心里的 GPU 不是游戏显卡的样子,而是一块巴掌大的密集模块(SXM 形态)。拆开看:

1

2

3

4

1. 1计算核心阵列 — 每个重复的小方块都是一组核心,成千上万个一起并行干活
2. 2缓存与控制 — 更大块的规整区域,负责暂存数据、调度指令
3. 3HBM 堆栈 — 裸片周围一圈就是 HBM——离得越近,数据往返越快
4. 4基板走线 — 金色细线是数据进出芯片的高速公路

五层结构里藏着三个成本事实:GPU 封装占了整块模块价值的绝对大头;散热和供电的规格完全由芯片功耗倒逼——功耗从上一代的几百瓦爬到上千瓦,冷板液冷因此从可选变成必选;而载板和接口决定了它能不能「装进机器、连成集群」。

03从一颗芯片到一台「大 GPU」

单颗 GPU 再强,也训不动今天的大模型。真正的工程奇迹在于把几十、几万颗 GPU 连成一台逻辑上的「大 GPU」:

• 机内:NVLink 把一台服务器里的 8 颗 GPU 直连,互访显存几乎像访问自己的。
• 柜级:新一代整机柜方案把 72 颗 GPU 用铜缆背板连成一个域,一个机柜就是一台超级计算机。
• 集群:再往上就要靠光模块与网络交换机——那是下一站「光模块与网络」的故事。

衡量这台机器的单位是 FLOPS(每秒浮点运算次数)。旗舰芯片以 P(千万亿)计,一个训练集群以 E(百亿亿)计——数量级本身就是门槛。

04谁在造 AI 的发动机

值得记住的结构性事实:GPU 的竞争从来不只是芯片参数的竞争。CUDA 软件生态、NVLink 互联、整机柜方案、供应链锁定(HBM 与 CoWoS 产能)——英伟达卖的是一整套系统。挑战者要翻越的不是一座山,而是一条山脉。

05继续往外走

发动机认识完了,回到它的两大后勤:把几万颗 GPU 连起来的「光模块与网络」,以及喂饱它们的「电力」。