三星将首秀36GB HBM3E内存：NVIDIA H200单卡就有216GB

快科技 3 月 7 日消息，三星日前宣布了全球首款 36GB 超大容量的新一代高带宽内存 HBM3E，而在 3 月 19 日凌晨开幕的 NVIDIA GTC 2024 技术大会上，三星将首次进行公开展示。

三星 HBM3E 采用了 24Gb 颗粒、12 层堆叠 ( 12H ) ，从而将单颗容量做到史无前例的 36GB，带宽也提升至 1280GB/s，相比前代 8H HBM3 容量、带宽都提升了 50％，垂直密度则增加了超过 20％。

NVIDIA H200 AI 加速卡将首发采用三星 36GB HBM3E，只需要八颗，就能达成 6144-bit 的位宽、216GB 的容量，从而超过 192GB HBM3 内存的 AMD Instinct MI300X。

H200 还支持四路、八路互连，因此单系统的 HBM3E 内存容量可以达到 864GB、1728GB！

按照惯例，NVIDIA 可能会出于良品率的考虑，屏蔽一小部分容量，但是单卡超过 200GB、单系统超过 1.6TB 必然是很轻松的。

按照 NVIDIA 的说法，H200 虽然还是 Hopper 架构，但相比 H100 再次飞跃，700 亿参数 Llama2、1750 亿参数 GTP-3 模型的推理性能分别提升多达 90％、60％，对比前代 A100 HPC 模拟性能直接翻番。

NVIDIA H200 计划 2024 年第二季度出货，三星 36GB HBM3E 则会在第一季度投入量产，正好赶得上。