HBM:堆起来的内存

掀开一张 AI 加速卡的散热器,你会看到中间一颗大芯片——GPU 本体,以及紧贴着它的几颗小方块。那几颗小方块就是 HBM(High Bandwidth Memory,高带宽内存)。GPU 负责算,HBM 负责喂数据;过去几年,「喂数据」这件事的重要性追上了「算」本身。

01为什么 GPU 需要 HBM

想象一位切菜极快的厨师:刀工再好,如果食材递得慢,他大部分时间只能空等。GPU 就是这位厨师,内存带宽就是递食材的速度。芯片行业把这个问题叫「带宽墙」:过去几十年,处理器算力的增长速度一直快于内存带宽的增长速度,差距越拉越大。

AI 训练把这个矛盾推到极致——大模型的每一步计算都要读写海量参数,GPU 快而内存慢,等于让顶级厨师配一个走路上菜的服务员。

HBM 就是为拆掉这堵墙而生的。一颗 HBM3e 堆栈能提供约 1.2 TB/s 的带宽,一张旗舰加速卡配上六到八颗,总带宽可以逼近 10 TB/s;作为对照,一根台式机上的 DDR5 内存条,带宽大约是几十 GB/s——差了两个数量级。

02它长什么样

1

2

3

4

5

1. 1DRAM 存储层 — 八层薄如纸的内存芯片垂直堆叠,容量随层数长高
2. 2TSV 硅通孔 — 贯穿整摞芯片的垂直电梯,数据不必绕到芯片边缘
3. 3微凸点 — 每两层之间成排的小焊球,是楼层之间的接驳口
4. 4逻辑底片 — 整摞内存的地面大堂,负责对外收发与调度
5. 5封装基板 — 绿色底板,把整个 HBM 接到中介层与 GPU 旁

单颗 HBM 只有指甲盖大小,厚度不到 1 毫米。但在这不到 1 毫米里,叠了 8 层、12 层甚至 16 层 DRAM 芯片——它不是一颗芯片,而是一栋「芯片楼」。

03拆开看:一栋 12 层的芯片楼

下面这张分解图可以一步步拆开:从承载一切的封装基板,到连接 GPU 与 HBM 的硅中介层,再到 HBM 堆栈内部的每一层。点「拆解」逐层查看。

自下而上,这套 2.5D 封装由五个角色组成:

• 封装基板:整个组件的地基,负责跟电路板连接。
• 硅中介层(interposer):一块布满微细导线的硅片,GPU 和 HBM 都「坐」在它上面。GPU 与 HBM 之间上千根数据线,全靠它承载——普通电路板做不到这么密的布线。
• GPU die:算力本体。
• 逻辑基底 die:HBM 楼的「一层大堂」,负责对外通信和管理楼上的存储层。
• DRAM 层 × N:真正存数据的楼层,一层层叠上去,层与层之间用 TSV(硅通孔)垂直打通。

「2.5D」这个名字的由来:芯片没有真的叠在 GPU 上(那是 3D),而是并排坐在同一块中介层上——介于平面(2D)和堆叠(3D)之间。

04和普通内存的区别

一句话概括:普通内存走「少车道、高车速」,HBM 走「超多车道、适中车速」。车道多到一定程度,总运力就碾压了车速的优势——至于为什么行业选择了「加宽」而不是「加速」这条路,下一层《TSV 与带宽》会讲透。

05三家供应商的格局

全球能量产 HBM 的公司只有三家:SK 海力士、三星电子、美光。

• SK 海力士最早押注 HBM 路线,在与主要 GPU 厂商的合作中占得先机,市场份额长期领跑。
• 三星存储产能全球最大,正在把体量优势转化为 HBM 份额,追赶的关键在新一代产品的良率与认证进度。
• 美光跳过早期世代直接切入 HBM3e,以能效表现作为差异化卖点,从第三名的位置向上争夺。

这个格局有两个结构性看点。第一,HBM 的产能会挤占普通 DRAM 的产能——同一座工厂,做 HBM 要消耗数倍于普通产品的晶圆,这让整个存储行业的供需变得更紧。第二,HBM 是先进封装、良率学习曲线和客户认证共同构成的壁垒生意,新玩家很难靠砸钱快速进场,三强格局在可见的时间内相当稳固。

1

2

3

4

1. 1DRAM 晶圆 — 彩虹色是纳米电路的光学衍射,不是颜料
2. 2裸片网格 — 每个小格将来都是一层 HBM 的楼板
3. 3边缘夹持 — 只碰最外圈,镜面绝不触碰
4. 4洁净管路 — 特种气体与液体走专用管道

06继续往下钻

HBM 为什么非要「盖楼」?层与层之间的信号怎么走?堆叠的代价是什么?这些问题指向同一个词:TSV。下一层原理页把它讲清楚。