美光技術助力打造未來的 AI 資料中心
- Near memory
- Main memory
- Expansion Memory
- Local SSD data cache
- Networked data lakes
釋放 AI 資料中心的潛力
每個 AI 伺服器箱子內都有一個金字塔或記憶體和儲存裝置的層級結構,以支援快速、突破性的 AI。使用美光的領先技術建構資料中心能夠減少瓶頸,提高永續性及功耗效率,並改善總體擁有成本。
與金字塔互動,探索我們的 AI 產品組合
箱內一瞥
即使有了地球上最先進的箱子,仍然需要承載它的地球
常見問答
AI 工作負載需要高運算能力並產生大量熱量,因此勢必得對基礎設施進行更新和完善。因此,現代 AI 資料中心的設計採用了最先進的冷卻技術、可再生能源和最佳化佈局,以確保最高效能和永續性。此外,選擇合適的 CPU 和 GPU 也至關重要,因為 AI 應用程式通常仰賴專用硬體來有效率處理複雜運算。這種精心的選擇有助於最大限度地提高處理能力,同時最大限度地降低能耗,以進一步提高 AI 資料中心的整體效率和效能。
美光的 HBM3E 8 層堆疊 24GB 和 HBM3E 12 層堆疊 36GB 提供業界領先的效能,頻寬超過 1.2 TB/s,功耗比市場上任何其他競爭對手最多低 30%。
處理 AI 資料和機器學習資料工作負載時,記憶體在判斷系統整體效能上扮演關鍵角色。常被視為適合用於處理 AI 資料和機器學習資料工作負載的兩大類記憶體,分別是高頻寬記憶體(HBM)以及雙倍資料速率(DDR)記憶體,具體來說是 DDR5。何種記憶體適合用於處理 AI 訓練資料工作負載,取決於不同因素,包括:AI 模型訓練演算法的特定要求、自動化資料處理規模以及整體系統配置。HBM3E 和 DDR5 皆提供顯著優勢,而各自的適用性取決於具體 AI 記憶體使用情境、預算以及可用的硬體選項。美光為 AI 模型訓練提供最新的 HBM3E 以及 DDR5。
HBM3E 記憶體擁有先進架構和高頻寬功能,是頻寬、速度和能源效率最高規格的 AI 模型訓練解決方案。與 HBM 解決方案相比,DDR5 AI 訓練記憶體模組一般較為主流且規模成本效益較高。
鑒於總容量是 AI 工作負載的最重要因素,美光 CZ120 記憶體擴充模組利用 CXL 標準,提供超越直連式記憶體通道的最佳化效能。
理想的機器學習資料和 AI 模型儲存解決方案取決於多種因素。關鍵考量重點應包括速度、效能、容量、可靠性、耐用性以及可擴充性。最適合用於處理 AI 工作負載的智慧儲存解決方案取決於應用程式的特定需求、預算以及整體系統配置。美光提供同類最佳的 NVMe SSD,滿足您的特定機器學習資料和 AI 模型儲存裝置需求。美光 9550 NVMe SSD 是全球速度最快的資料中心 SSD,本身採用業界領先的創新技術,為 AI 及其他應用提供卓越的 PCIe® Gen5 效能、彈性和安全性。美光 6500 ION NVMe SSD 是支援網路資料湖的最佳高容量解決方案。
1 與上一代 1α 節點產品相比。
2 根據 JEDEC 規格。
3 與市售(2023 年 6 月)同類 3DS 模組相比,測量資料單位為 pJ/位元。
4 比較 128GB MRDIMM 8800MT/s 與 128GB RDIMM 6400MT/s 的實證性 Intel 記憶體延遲檢查器(Intel MLC)資料。
5 在 1TB 條件下比較 128GB MRDIMM 8800MT/s 與 128GB RDIMM 6400MT/s 的實證性 Stream Triad 資料。
6 比較 128GB MRDIMM 8800MT/s 與 128GB RDIMM 6400MT/s 的實證性 OpenFOAM 任務能耗。
7 與 LPDDR5X 8533 Mbps 相比
8 與上一代產品相比
9 MLC 頻寬比較:使用 12 通道 4800MT/s RDIMM+ 4x256GB CZ120 對比僅使用 RDIMM。
10 效能比較根據效能著重型 Gen5 SSD 以及產品發佈時提供的 1 DWPD 7.68TB 容量 SSD 的公開資料資訊。QD512 的循序和隨機吞吐量。多份公開資料顯示,美光實驗室測試了大型加速器記憶體(BaM),如:https://www.tomshardware.com/news/nvidia-unveils-big-accelerator-memory-solid-state-storage-for-gpus 和用於使用 NVIDIA H100 GPU 訓練工作負載的圖像神經網路(GNN)的 GPU 主動直接儲存(GIDS),並與效能著重型 Gen5 SSD 進行比較。
11 根據美光 6500 ION、Samsung BM1743 和 Solidigm D5-P5336 的公開資料表規格比較
12 根據美光 6500 ION 和 Seagate® Exos X20 HDD(20TB)的公開資料表 128KB 循序寫入規格,並假設兩款硬碟在擷取 100TB 資料時均保持額定規格不變
13 根據德州奧斯汀美光資料中心工作負載工程團隊的測試。測試的競爭產品為 30.72TB Solidigm® D5-P5316(根據讀取/寫入頻寬資料表規格(這是重要的 AI 儲存裝置工作負載指標),截至 2024 年 7 月市場上效能最高的 QLC SSD。) 鑑於其他競爭對手最近發佈的 SSD 的寫入頻寬效能等級較低,實際的美光 6500 ION 寫入效能差異可能比標註的要高。