設計工具
高頻寬記憶體

HBM3E

業界速度最快、容量最高的高頻寬記憶體(HBM),推動生成式 AI 創新

pause

美光 12 層堆疊 36GB HBM3E 正式量產上市

當今的生成式 AI 模型需要不斷增長的資料量,因為這些模型需要擴充,才能提供更優異的成果並開創新的契機。美光領先的 1ß(1-beta)記憶體技術和先進的封裝技術確保資料流以最高效的方式進出 GPU。美光的 8 層堆疊和 12 層堆疊 HBM3E 記憶體立方體進一步推動 AI 創新,功耗比競爭對手低 30%。美光的 8 層堆疊 24GB HBM3E 已與 NVIDIA H200 Tensor Core GPU 一起出貨,並且可量產的 12 層堆疊 36GB HBM3E 也已上市。

美光 HBM3E 多晶片堆疊

美光 HBM3E | AI 用高頻寬記憶體

使用美光 HBM3E 深入研究快速發展的 AI 領域,這是業界最節能的高頻寬記憶體,相較於競爭產品,功耗減低 30%。為推動生成式 AI 創新而設計,HBM3E 提供超過 1.2 TB/s 的頻寬和卓越的節能效率。探索美光如何塑造 AI 的未來,並推動資料中心、工程、醫療等領域的進步。所有答案都在這裡,即利用美光 HBM3E。

從 YouTube 影片擷取的 HBM3e SSD 螢幕擷取畫面

加快人工智慧創新的速度

生成式 AI

如上圖所示,透過使用大型語言模型(LLM)進行訓練和推論,生成式 AI 開啟一個世界,廣納不同於以往全新的創意和表達形式。運用運算和記憶體資源可縮短部署和回應時間。美光 HBM3E 提供更高的記憶體容量,可提升效能並減少 AI CPU 卸載,以便在推論 ChatGPT™ 等 LLM 時提供更快速的訓練和更即時的查詢。

水晶製成的太空人 3D 插圖

深度學習

人工智慧為企業、IT、工程、科學、醫學等領域創造新的可能性。隨著部署可加速深度學習的大型 AI 模型,維持運算和記憶體效率對於解決效能、成本和功耗方面很重要,以確保所有人都能從中獲益。美光 HBM3E 可改善記憶體效能,同時專注於提升每瓦效能的能源效率,以縮短訓練 GPT-4 等 LLM 的時間。

淺藍色、粉紅色和黃色資料流組合成右側資料集的完整變體

高效能運算

科學家、研究人員和工程師不斷面臨挑戰,需探索氣候模型、治療癌症以及再生和永續發展能源資源的解決方案。高效能運算(HPC)透過執行非常複雜的演算法和運用大型資料集的進階模擬,以加速探索的時間。美光 HBM3E 提供更高的記憶體容量,並減少在多個節點中分發資料的需求來改善效能,進而加快創新的速度。

一位藝術家在光線昏暗的房間內使用觸控筆在平板電腦上創作彩色抽象設計

HBM3E 採用領先業界的製程技術,專為 AI 和超級運算所打造

美光透過 HBM3E 將領先業界的效能擴展至我們的資料中心產品組合。在與上一代產品相同的封裝尺寸內,提供更快的資料速度、改善的熱反應,以及提高 50% 的單片晶粒密度。

美光 HBM3E 單晶片

HBM3E 採用領先業界的製程技術,專為 AI 和超級運算所打造

HBM3E 提供推動人工智慧運算核心所需的記憶體頻寬

憑藉先進的 CMOS 創新技術和業界領先的 1β 製程技術。美光 HBM3E 提供超過 1.2 TB/s 的更高記憶體頻寬。1

佩戴 AI 護目鏡的女性的模糊圖像

HBM3E 開啟了生成式 AI 的世界

HBM3E 中每個 8 層堆疊 24GB 立方體的記憶體容量增加 50%2,讓訓練可以達到更高的精準度和正確度。

濺起的水花,背景為霓虹燈

HBM3E 為人工智慧和高效能運算工作負載提供更高的每瓦效能

美光設計了能源效率資料路徑以降低熱阻抗,使效能/瓦特比上一代產品提升了 2.5 倍以上。

以紫色霓虹燈為背景的現代高科技機房的生成式 AI 插圖

HBM3E 開創多重模式、多兆參數人工智慧模型的訓練

HBM3E 增加的記憶體頻寬可改善系統層級的效能,將訓練時間縮短超過 30%4,並允許每天增加 50% 以上的查詢。5,6

聊天機器人利用 AI 或人工智慧技術聊天。使用筆記型電腦與人工智慧聊天的女性詢問她想要的答案

美光 HBM3E:為運算技術奠定基礎,開啟前所未有的契機

美光 HBM3E 是推動 AI 創新的最快、容量最大的高頻寬記憶體——8 層堆疊 24GB 立方體提供超過 1.2 TB/s 的頻寬和卓越的功耗效率。美光是您在 AI 記憶體與儲存裝置創新領域值得信賴的合作夥伴。

Cropped shot of African American data engineer holding laptop while working with supercomputer in server room lit by blue light, copy space

工程報告:HBM 對 LLM 效能的影響

常見問答

美光的 HBM3E 8 層堆疊 24GB 和 HBM3E 12 層堆疊 36GB 提供業界領先的效能,頻寬超過 1.2 TB/s,功耗比市場上任何其他競爭對手低 30%。 

美光 HBM3E 8 層堆疊 24GB 將從 2024 年第二季開始用於 NVIDIA H200 Tensor Core GPU。美光 HBM3E 12 層堆疊 36GB 樣品現已出貨。

美光的 HBM3E 8 層堆疊和 12 層堆疊模組提供大於 9.2Gbps 的領先業界針腳傳輸速度,並且能支援 HBM2 第一代裝置的向下相容資料速率。

美光的 HBM3E 8 層堆疊和 12 層堆疊解決方案提供業界領先的頻寬,每個位置超過 1.2 TB/s。HBM3E 有 1024 個 IO 針腳,HBM3E 針腳傳輸速度大於 9.2Gbps,實現了高於 1.2TB/s 的速率。

美光業界領先的 HBM3E 8 層堆疊提供每個位置 24GB 容量。最近發佈的美光 HBM3E 12 層堆疊立方體將提供令人瞠目的每個位置 36GB 容量。 

美光的 HBM3E 8 層堆疊和 12 層堆疊解決方案提供業界領先的頻寬,每個位置大於 1.2 TB/s。HBM3E 有 1024 個 IO 針腳,HBM3E 針腳傳輸速度超過 9.2Gbps,實現了大於 1.2TB/s 的速率。

HBM2 記憶體提供 8 個獨立通道,每個針腳的執行速度達到 3.6Gbps,並提供高達 410GB/s 的頻寬,有 4GB、8GB 和 16GB 三種容量可選。HBM3E 提供 16 個獨立通道和 32 個虛擬通道。美光的 HBM3E 以領先業界的頻寬(每個位置超過 1.2 TB/s),提供大於 9.2Gbps 的針腳傳輸速度。美光的 HBM3E 使用 8 層堆疊技術提供 24GB 容量,使用 12 層堆疊技術提供 36GB 容量。美光的 HBM3E 功耗比競爭對手低 30%。 

請參閱我們的產品簡介。

相關資訊

1.   資料速率測試估計是根據製造測試環境中執行的 Pin 速度 Shmoo 圖。
2.  相同堆疊高度增加 50% 容量。
3.   功率和效能估計根據工作負載量使用案例的模擬結果。
4.   根據參照 ACM 出版物的內部美光模型,與目前出貨平台(H100)相比。
5.   根據內部美光模型,參照 2023 年 2 月 27 日 Bernstein 的研究報告《NVIDIA(NVDA):由下而上調整 ChatGPT 機會大小的方法》,與目前出貨平台(H100)相比。
6.   根據使用已上市 H100 平台和線性推斷的系統測量。

顧客支援

要聯絡我們嗎? 請聯絡我們的支援團隊,並獲取各個辦公地點的聯絡資訊。

搜尋、篩選和下載資料表

深入瞭解產品特性、規格、功能等資訊。

訂購美光樣品

您可以線上訂購和追蹤美光記憶體樣品的訂單。

下載項目與技術文件

幫助您設計、測試、構建並最佳化創新設計。