設計工具
應用

美光推出 HBM3E 12 層堆疊 36GB 記憶體,繼續保持記憶體業界領先地位

Raj Narasimhan | 2024 年 9 月

隨著 AI 工作負載的不斷發展和擴充,記憶體頻寬和容量對提升系統效能越來越關鍵。業界最新的 GPU 需要最高效能的高頻寬記憶體(HBM)、龐大的記憶體容量以及更高的功耗效率。為滿足這些需求,美光走在記憶體創新的最前線,目前正在向主要產業合作夥伴提供可量產的 HBM3E 12 層堆疊記憶體,並在整個 AI 生態系統進行認證。

美光業界領先的 HBM3E 12 層堆疊 36GB 記憶體與競爭對手的 8 層堆疊 24GB 產品相比,不僅功耗大幅降低,而且封裝中的 DRAM 容量增加了 50%

美光 HBM3E 12 層堆疊記憶體擁有令人印象深刻的 36GB 容量,比目前的 HBM3E 8 層堆疊產品增加了 50%,可讓擁有 700 億個參數的大型 AI 模型(如 Llama 2)運行於單個處理器上。容量的增加避免了 CPU 卸載和 GPU-GPU 通訊延遲,因此能更快地取得洞見。

與競爭對手的 HBM3E 8 層堆疊 24GB 解決方案相比,美光 HBM3E 12 層堆疊 36GB 記憶體的功耗要低得多。美光 HBM3E 12 層堆疊 36GB 記憶體提供每秒超過 1.2 TB/s 的記憶體頻寬,Pin 速度超過每秒 9.2 Gb。美光 HBM3E 以最低的功耗提供最大的吞吐量,這些綜合優勢可確保耗電量巨大的資料中心獲得最佳成果。

此外,美光 HBM3E 12 層堆疊記憶體還整合了完全可編程 MBIST,能夠以全規格速度運行系統典型流量,為加快驗證提供了更大的測試覆蓋範圍,縮短了產品上市時間,並提高了系統可靠性。

強大的生態系統支援

美光正在向主要產業合作夥伴提供可量產的 HBM3E 12 層堆疊記憶體,並在整個 AI 生態系統進行認證。美光的 HBM3E 12 層堆疊記憶體里程碑展示了自身的創新力,將滿足不斷發展的 AI 基礎設施的資料密集型需求。

美光還是 TSMC 的 3DFabric 聯盟的重要合作夥伴,該聯盟竭力塑造半導體和系統創新的未來。AI 系統製造非常複雜,HBM3E 整合需要記憶體供應商、客戶和外包半導體封裝測試(OSAT)廠商之間的密切合作。

在最近的一次交流中,TSMC 生態系統和聯盟管理部門負責人 Dan Kochpatcharin 評論說:「TSMC 和美光一直保持著長期的策略夥伴關係。作為 OIP 生態系統的一部分,我們密切合作,使美光以 HBM3E 為基礎的系統和把晶片堆疊起來,然後封裝於基板上(CoWoS)的封裝設計能夠支援客戶的 AI 創新。

概括地說,美光 HBM3E 12 層堆疊 36GB 記憶體具有以下優勢:

  • 正在接受多個客戶認證:美光正在向主要產業合作夥伴交付可量產的 12 層堆疊單元,以在整個 AI 生態系統獲得認證。
  • 無縫可擴充性:美光 HBM3E 12 層堆疊記憶體擁有 36GB 容量(比目前的 HBM3E 產品容量增加了 50%),可讓資料中心無縫擴充不斷增加的 AI 工作負載。
  • 出色的效率:與競爭對手的 HBM3E 8 層堆疊 24GB 解決方案相比,美光 HBM3E 12 層堆疊 36GB 記憶體的功耗要低得多!
  • 卓越的效能:美光 HBM3E 12 層堆疊 36GB 的 Pin 速度超過每秒 9.2 Gb,具有超過每秒 1.2 TB 的記憶體頻寬,可為 AI 加速器、超級電腦和資料中心提供快如閃電的資料存取速度。
  • 加速驗證:完全可編程 MBIST 功能能夠以代表系統流量的速度執行,為加速驗證提供更大的測試覆蓋範圍,進而加快產品上市時間並提高系統可靠性。

展望未來

美光領先的資料中心記憶體和儲存產品組合旨在滿足生成式 AI 工作負載不斷發展的需求。從近端記憶體(HBM)和主記憶體(大容量伺服器 RDIMM)到 Gen5 PCIe® NVMe SSD資料湖 SSD,美光提供市場領先的產品,可高效率、高效益地擴充 AI 工作負載。

隨著美光繼續專注於擴大其業界領先地位,公司正透過其 HBM4 和 HBM4E 藍圖展望未來。這種前瞻性思維確保美光始終處於記憶體和儲存裝置發展的最前線,進而推動資料中心技術的下一波進步。

欲瞭解更多資訊,請瀏覽美光的 HBM3E 頁面

Senior VP and GM, Compute & Networking Business Unit

Raj Narasimhan

Raj Narasimhan is senior vice president and general manager of Micron's Compute and Networking Business Unit. He is responsible for leading Micron’s largest business, driving advances in memory products focused on high-performance computing, artificial intelligence, and cloud and client computing.

Raj Narasimhan