隨著 AI 工作負載的不斷發展和擴充,記憶體頻寬和容量對提升系統效能越來越關鍵。業界最新的 GPU 需要最高效能的高頻寬記憶體(HBM)、龐大的記憶體容量以及更高的功耗效率。為滿足這些需求,美光走在記憶體創新的最前線,目前正在向主要產業合作夥伴提供可量產的 HBM3E 12 層堆疊記憶體,並在整個 AI 生態系統進行認證。
美光業界領先的 HBM3E 12 層堆疊 36GB 記憶體與競爭對手的 8 層堆疊 24GB 產品相比,不僅功耗大幅降低,而且封裝中的 DRAM 容量增加了 50%
美光 HBM3E 12 層堆疊記憶體擁有令人印象深刻的 36GB 容量,比目前的 HBM3E 8 層堆疊產品增加了 50%,可讓擁有 700 億個參數的大型 AI 模型(如 Llama 2)運行於單個處理器上。容量的增加避免了 CPU 卸載和 GPU-GPU 通訊延遲,因此能更快地取得洞見。
與競爭對手的 HBM3E 8 層堆疊 24GB 解決方案相比,美光 HBM3E 12 層堆疊 36GB 記憶體的功耗要低得多。美光 HBM3E 12 層堆疊 36GB 記憶體提供每秒超過 1.2 TB/s 的記憶體頻寬,Pin 速度超過每秒 9.2 Gb。美光 HBM3E 以最低的功耗提供最大的吞吐量,這些綜合優勢可確保耗電量巨大的資料中心獲得最佳成果。
此外,美光 HBM3E 12 層堆疊記憶體還整合了完全可編程 MBIST,能夠以全規格速度運行系統典型流量,為加快驗證提供了更大的測試覆蓋範圍,縮短了產品上市時間,並提高了系統可靠性。
強大的生態系統支援
美光正在向主要產業合作夥伴提供可量產的 HBM3E 12 層堆疊記憶體,並在整個 AI 生態系統進行認證。美光的 HBM3E 12 層堆疊記憶體里程碑展示了自身的創新力,將滿足不斷發展的 AI 基礎設施的資料密集型需求。
美光還是 TSMC 的 3DFabric 聯盟的重要合作夥伴,該聯盟竭力塑造半導體和系統創新的未來。AI 系統製造非常複雜,HBM3E 整合需要記憶體供應商、客戶和外包半導體封裝測試(OSAT)廠商之間的密切合作。
在最近的一次交流中,TSMC 生態系統和聯盟管理部門負責人 Dan Kochpatcharin 評論說:「TSMC 和美光一直保持著長期的策略夥伴關係。作為 OIP 生態系統的一部分,我們密切合作,使美光以 HBM3E 為基礎的系統和把晶片堆疊起來,然後封裝於基板上(CoWoS)的封裝設計能夠支援客戶的 AI 創新。」
概括地說,美光 HBM3E 12 層堆疊 36GB 記憶體具有以下優勢:
- 正在接受多個客戶認證:美光正在向主要產業合作夥伴交付可量產的 12 層堆疊單元,以在整個 AI 生態系統獲得認證。
- 無縫可擴充性:美光 HBM3E 12 層堆疊記憶體擁有 36GB 容量(比目前的 HBM3E 產品容量增加了 50%),可讓資料中心無縫擴充不斷增加的 AI 工作負載。
- 出色的效率:與競爭對手的 HBM3E 8 層堆疊 24GB 解決方案相比,美光 HBM3E 12 層堆疊 36GB 記憶體的功耗要低得多!
- 卓越的效能:美光 HBM3E 12 層堆疊 36GB 的 Pin 速度超過每秒 9.2 Gb,具有超過每秒 1.2 TB 的記憶體頻寬,可為 AI 加速器、超級電腦和資料中心提供快如閃電的資料存取速度。
- 加速驗證:完全可編程 MBIST 功能能夠以代表系統流量的速度執行,為加速驗證提供更大的測試覆蓋範圍,進而加快產品上市時間並提高系統可靠性。
展望未來
美光領先的資料中心記憶體和儲存產品組合旨在滿足生成式 AI 工作負載不斷發展的需求。從近端記憶體(HBM)和主記憶體(大容量伺服器 RDIMM)到 Gen5 PCIe® NVMe SSD 和資料湖 SSD,美光提供市場領先的產品,可高效率、高效益地擴充 AI 工作負載。
隨著美光繼續專注於擴大其業界領先地位,公司正透過其 HBM4 和 HBM4E 藍圖展望未來。這種前瞻性思維確保美光始終處於記憶體和儲存裝置發展的最前線,進而推動資料中心技術的下一波進步。
欲瞭解更多資訊,請瀏覽美光的 HBM3E 頁面。