AI 芯片对内存的需求似乎永无止境。当前数据中心的计算机已将 DRAM 堆叠至 12 层，但随着内存厂商尝试构建更高的堆叠结构以提升容量和带宽，业界开始担忧这种高带宽内存（HBM）会因积热过多而损坏自身。若 GPU 厂商选择将 HBM 直接堆叠在已经高温运行的处理器上方以提升带宽，这一问题将尤为突出。

为此，全球工程师正在探索一种替代方案：与其将 DRAM 芯片层层叠加，不如将它们横向并排堆叠。他们希望借此将未来可能出现的"高温危机"，转化为一块由散热硅鳍组成的低温芯片立方体。

上月在 IEEE VLSI 研讨会上，两支研究团队分别展示了实现这一目标的不同路径。韩国研究人员预测，一种名为 V-Die 的横向堆叠芯片方案，相比目前最先进的内存技术 HBM4，速度可提升 82%。日本工程师则表示，他们的方案 MOSAIC 在不显著提高峰值温度（不超过 1℃）的前提下，内存容量可达 HBM4 的两倍。

当前 HBM 的技术架构

现有 HBM 由多层 DRAM 硅片堆叠在一块称为"基础芯片"的底层芯片上构成。基础芯片负责为堆叠结构供电并协调与处理器之间的通信。数据和电力通过穿越每层芯片的垂直连接结构——即硅通孔（TSV）——传输至堆叠层内部。各层芯片之间以及芯片与基础芯片之间，通过与 TSV 相连的微型焊料凸点实现互联。

以英伟达 B300 等典型 AI 加速器为例，其两侧各配置了 8 组 HBM 堆叠，每组堆叠 12 层，提供 36 GB 存储空间。每组堆叠与 GPU 安装在同一基板上，通过宽度为 2048 微米的线路跨越数毫米的间距传输数据。在 HBM4 规格下，这一架构可实现与 GPU 之间每秒 2800 GB 的双向数据传输速率。

然而，即便如此，未来仍将难以为继。"AI 模型的规模正在爆炸式增长，"韩国蔚山科学技术院（UNIST）博士生杨熙洙在 VLSI 研讨会上表示，"但内存容量和带宽却难以跟上，形成了巨大的瓶颈。"

HBM 面临的热管理难题

HBM 目前最紧迫的问题之一是发热问题。芯片层间填充材料的导热性比硅基板低约 100 倍，导致热量难以向上传导至处理器封装散热器。虽然存在一些缓解方法，但随着芯片厂商通过增加堆叠层数来扩大容量，这一问题很可能进一步恶化。

杨熙洙还指出，随着堆叠层数增加，存储容量与带宽之间的权衡取舍也日益凸显。更高的堆叠结构需要更多 TSV 来传输数据，从而占用了原本用于存储数据的硅面积。

V-Die 方案：横向堆叠与微流控冷却

上月，UNIST 权智敏教授团队联合大田韩?国立大学的金成周，在研讨会上提出了应对 HBM 未来挑战的解决方案——V-Die。该方案将 DRAM 垂直排列，并在芯片层间引入微流控冷却通道，将温度控制在 45℃，远低于通常超过 80℃ 的峰值温度。

杨熙洙解释称，这种设计中的芯片结构也有所不同：由于不再需要垂直连接，TSV 得以取消，释放出更多面积用于存储单元。此外，每块芯片将拥有独立的 I/O 系统，无需基础芯片。这些 I/O 系统沿芯片底部边缘排列，每隔 20 微米通过连接点与 GPU 所在的硅基板相连。该设计使连接点数量达到 HBM4 的四倍，内存读取时间缩短 37%，尽管部分数据需要多传输数毫米才能抵达处理器。

研究团队对 16 层堆叠方案在 AI 计算系统（如英伟达 H100 GPU 集群）中的性能表现进行了模拟测试，采用 GPT-3 规模大语言模型的工作负载进行测试。结果显示，在相同内存容量下，V-Die 系统每秒可处理 540 个 Token，而 HBM4 仅为 296 个，同时首 Token 延迟降低 32%，约缩短 24 毫秒。

目前，用于验证热学和电气特性的原型器件正在研发中。

集成难题的挑战

这类 DRAM 方案有时被称为"立体 DRAM"，其制造方式是先将芯片层层叠加，再将整个堆叠结构侧翻，连接至基板或其他芯片。比利时微电子研究中心 Imec 的项目总监詹姆斯·迈尔斯表示，这可能带来棘手的集成问题。迈尔斯团队此前曾就 DRAM 堆叠于 GPU 上方的热管理问题提出过解决方案，目前正研究在该场景中应用垂直堆叠芯片的可能性。"芯片厚度必须做到精确一致，"他表示，"即便 DRAM 芯片之间仅有几微米的厚度差异，累积起来也会造成与基板连接的问题。一旦堆叠中存在足够多的不规则芯片，就可能错过焊盘位置。"

MOSAIC 方案：感应耦合实现容错连接

来自东京大学、东北大学和日本国家研究机构理化学研究所的联合团队，在 IEEE VLSI 研讨会上提出了一种新颖的解决思路。他们没有将芯片底部直接与基板进行电气连接，而是测试了一种感应耦合收发系统：在内存芯片一侧形成约 80 微米×240 微米的椭圆形感应线圈，在基板上以垂直方向设置对应线圈。一侧线圈中的电流在另一侧线圈中感应出磁场，从而传输数据信号。由于两组线圈无需精确对齐，内存芯片在基板上的安装位置具有相当大的容差空间。

东京大学博士生三平悠希在研讨会上介绍，数量较少、占用面积较大的电源连接则布置在内存立方体的侧面。

MOSAIC 设计用于安装在 GPU 顶部，每个立方体集成 98 层芯片，提供 294 GB 内存。虽然没有微流控冷却结构，但热量可通过硅鳍本身向上传导，预计最高温度为 81.3℃，接近当前 80℃ 的典型上限。三平悠希还表示，若将 DRAM 芯片厚度减薄三分之二至 100 微米，同等体积的 MOSAIC 立方体可集成 294 层芯片，内存容量将达到 882 GB。

Q&A

Q1：V-Die 和现有 HBM4 内存相比，性能提升有多大？

A：根据韩国 UNIST 研究团队的模拟测试，V-Die 方案在相同内存容量下，每秒可处理 540 个 Token，而 HBM4 仅为 296 个，速度提升约 82%。同时，首 Token 延迟降低 32%，约缩短 24 毫秒。此外，由于取消了 TSV 结构，V-Die 的连接点数量达到 HBM4 的四倍，内存读取时间也缩短了 37%。

Q2：HBM 堆叠层数越多，为什么会带来散热问题？

A：HBM 芯片层间填充材料的导热性比硅基板低约 100 倍，导致热量难以向上传导至散热器。随着堆叠层数增加，积热问题将更加严重。此外，更高的堆叠还需要更多 TSV 来传输数据，占用了原本用于存储的硅面积，在容量和带宽之间形成两难取舍。

Q3：MOSAIC 方案如何解决横向堆叠芯片的对准精度问题？

A：MOSAIC 采用感应耦合收发系统替代直接电气连接。内存芯片一侧形成椭圆形感应线圈，基板上以垂直方向设置对应线圈，通过磁场感应传输数据信号。由于两组线圈无需精确对齐，芯片安装位置具有较大容差，有效规避了因芯片厚度不均导致的连接失败问题。