符合人類抱負規模的記憶體

HBM4 超過 2.8 TB/s 的頻寬，對於那些需要高速傳輸數 TB 資料的 AI 和 HPC 應用而言至關重要。例如，進階推理模型在解決問題時，必須評估數百個中間邏輯步驟。隨著計算的進行，這要求每秒有數 TB 的資料在主記憶體與處理器之間流動。

HBM4 可與其他記憶體類型搭配使用，而非取代它們。例如，在現代系統中，CPU 採用 LPDDR5 或 DDR5 來協調系統運作，而 GPU 則使用 HBM4 來處理高強度的數學運算（即複雜的演算法）。

HBM4 汲取了 HBM3 和 HBM3E 中所有行之有效的特性，並將其進一步強化。更寬的介面以超過 11.0 Gbps 的速度運作，提供的頻寬是上一代的兩倍以上。這一點至關重要，因為該技術能夠滿足各類新興工作負載的需求──從具備數百萬個詞元長上下文窗口的 AI 工作負載，到執行於次世代超級電腦之上的科學模擬工作。

DDR 記憶體等傳統 DRAM 負責處理一般運算工作，而 HBM 則支援那些需要連續處理數 TB 資料流的 AI 和 HPC 應用。HBM 的架構將超薄 DRAM 裸片堆疊起來，並透過數千個矽通孔 (TSV) 將其連接。這種垂直設計對製造精度要求極高，使得 HBM 成為製造難度較大的記憶體產品之一。

HBM4 12 層堆疊每堆提供 36GB 的記憶體容量（與上一代相同），但頻寬超過 2.8 TB/s。頻寬的提升（超過 HBM3E 的兩倍）意味著處理器能夠以更快的速度存取這一容量，從而支援比上一代產品在同等容量下所能處理的更為嚴苛的 AI 工作負載及科學模擬工作。

容量是資料記憶體可以儲存的容量，而頻寬是資料每秒可以傳輸的容量。一個 12 層堆疊的 HBM4 模組可儲存 36GB 資料。而 2.8 TB/s 的速率意味著，在短短一秒鐘內，相當於 2.8 太位元組 (TB) 的資料便可在 HBM 與處理器之間進行傳輸。容量決定了記憶體中能夠容納多少資料，而頻寬決定了存取這些資料的速度。

HBM 的製造始於三種類型矽晶圓的製備。其中一種用於製造帶有矽通孔 (TSV) 的晶片裸片，以實現電氣連接。另一種用於製造較厚的頂部裸片，且不含 TSV。第三種則用於製造帶有 TSV 的邏輯裸片，以便與系統進行介面連接。

只有通過測試的裸片，才會進入後續的組裝環節。隨後，專用設備會將多枚 DRAM 裸片堆疊在邏輯裸片之上。較厚的頂部 DRAM 晶片完善了整個堆疊結構，並提供記憶體和結構完整性。組裝完成後，完整的 HBM 立方體將進行最終測試，以驗證所有連接是否正常工作。

是的，HBM4 既適用於 GPU，也適用於客製 ASIC（專用積體電路）。該記憶體可連接至任何能夠支援其高頻寬介面並具備相應封裝的處理器。

高階運算系統（例如超級電腦）用於解決科學問題，並基於 EB 級資料訓練 AI 模型。為了高效地完成這些工作，記憶體必須具備足夠快的資料傳輸速度，以確保數千個處理器核心始終處於繁忙工作狀態。憑藉超過 2.8 TB/s 的頻寬，HBM4 加速了 AI 訓練，透過更快的 KV 快取存取降低了推理延遲，並實現了更為精細的科學模擬。