每一分鐘……
都有視訊被上傳。都有直播開啟。都有照片被分享。在每一個這樣的時刻背後,資料都在被建立、傳輸、儲存和分發。即時、無縫且規模化地進行。以下資料增長情況凸顯了 AI 基礎設施所面臨的需求,以及記憶體和儲存裝置在維持資料流動方面所發揮的關鍵作用。
每一個數字時刻都遵循同樣的路徑:建立、儲存、服務與學習。
- 近記憶體
- 主記憶體
- 分離式記憶體
- SSD 資料快取
- 網路化資料湖
適配各類 AI 工作負載的理想記憶體與儲存裝置
每一次視訊上傳、AI 回應產生和推薦推送,都依賴於資料在多層記憶體與儲存裝置間的流動。在每一層採用合適的技術,有助於賦能 AI 助手、個人化體驗以及現實世界的實際成效。
與金字塔互動,瞭解美光如何支援 AI 流程的各個階段。
箱內一瞥
常見問答
傳統資料中心支援廣泛的業務應用,而 AI 資料中心則針對 AI 工作負載進行了優化,這些工作負載對算力、記憶體頻寬、儲存裝置效能及網路容量有著遠超常規的高要求。隨著 AI 模型日益複雜,AI 資料中心的設計旨在支援更大的工作負載,並提供更高的效能、連接能力和效率。構建和營運 AI 資料中心的企業,通常採用 GPU 加速伺服器、先進冷卻系統、高速網路以及高效能記憶體與儲存裝置,以確保資料在 AI 處理流程中高效流動。
AI 基礎設施是指支援組織開發、訓練、部署和執行 AI 應用程式的硬體、軟體、網路、記憶體、儲存裝置及電力系統。它為整個 AI 生命週期提供了支撐基礎,助力企業將大量資料大規模轉化為由 AI 驅動的洞察與服務。AI 基礎設施整合了運算、網路、記憶體和儲存裝置技術,為 AI 體驗、洞察與服務提供支撐。大型雲端服務提供者和科技公司通常營運超大規模資料中心,這些是旨在支援大量運算工作負載的巨型設施。規模較小的機構經常使用主機託管設施,即租用空間、電力和冷卻資源來安置其設備,而不是自行建造和維護資料中心。
伺服器機架是一種標準化的機櫃,用於容納伺服器、儲存裝置系統、網路設備及電源元件。在 AI 資料中心,伺服器機架整合了支援大規模 AI 工作負載所需的運算、網路、記憶體和儲存裝置技術。AI 伺服器機架通常包含高密度 GPU 伺服器、高速網路、先進的冷卻技術,以及有助於確保資料在 AI 流水線中高效流動的記憶體與儲存裝置系統。
最佳的記憶體與儲存解決方案取決於具體的 AI 工作負載,但大多數 AI 資料中心都採用高頻寬記憶體、DRAM 和高效能 SSD 相結合的方案。不同的 AI 工作負載對頻寬、容量、延遲和能效有著不同的要求,因此 AI 流水線的各個階段都需要匹配相應的記憶體與儲存裝置技術。這些技術協同作用,有助於消除瓶頸、提升效率,並提供現代 AI 工作負載所需的效能。美光提供專為 AI 基礎設施設計的記憶體與儲存解決方案。美光 HBM 助力實現 AI 加速器所需的頻寬,美光 DDR5 DRAM 支援記憶體密集型伺服器工作負載,而美光資料中心級 SSD 則提供對 AI 資料集和模型快速、可靠的存取能力。這些技術協同工作,有助於保持資料高效流動,從而實現更快的 AI 訓練、推理和資料處理。
繼續與美光探討 AI
- 根據 Statista 的資料,全球每分鐘有 16,000 個短視訊上傳至 TikTok 平台。TikTok - 統計資料與事實 | Statista
- 報告顯示,2025 年全球範圍內,YouTube 上每分鐘平均上傳 500 小時的視訊(約 2,500 個視訊)。2026 年 YouTube 統計資料 [按國家/地區劃分的使用者 + 人口統計資料]
- 據 Tech Business News 報導,2025 年全球每天平均產生 4.0274 億太位元組的資料。「建立」包括新產生、擷取、複製或使用的資料。402,740,000 TB / 1,440 分鐘 = 279,680.56 TB/分鐘(或約 279,600 TB) - 2025年每天產生 4.0274 億 TB 資料。
- 對比 HBM4 12 層堆疊與 HBM3E 12 層堆疊。在相近的速度下,能效以每比特皮焦耳 (pJ/bit) 為單位進行衡量。
- 基於美光內部模型(參考 ACM 出版物)與 H100 平台的對比。
- 與 128GB(上一代)SOCAMM2 相比。
- 結果基於美光內部使用 Llama3 70B 模型(採用 FP16 量化)進行即時推理的測試,上下文長度為 500K,並有 16 個併發使用者。預計 TTFT 延遲改善是基於每個 CPU 使用 2TB LPDRAM 的延遲為 0.12 秒,而每個 CPU 使用 1.5TB LPDRAM 的延遲為 0.28 秒。
- 結果基於美光內部 LPDDR5x 功耗運算器,並基於預估的 AI 使用場景及條件。
- 與 LPDDR5X 8533 Mb/s 相比。
- 與上一代相比。
- 基於 Intel Memory Latency Checker (Intel MLC) 的實測資料,對比了 128GB MRDIMM(8800 MT/s)與 128GB RDIMM(6400 MT/s)。
- 基於 1TB 容量的 Stream Triad 實測資料,對比了 128GB MRDIMM (8800 MT/s) 與 128GB RDIMM (6400 MT/s) 的效能。
- 針對 OpenFOAM 工作能耗的實證對比:128GB MRDIMM (8800 MT/s) 與 128GB RDIMM (6400 MT/s)。
- 效能優勢是基於 9,200 MT/s 與 6,400 MT/s 產品的對比運算得出的。
- 以瓦特為單位測量的執行功率。運算依據:比較兩根功耗為 9.7 W(總計 19.4 W)的 128GB 模組與單根功耗為 11.1 W 的 256GB 模組。
- 9650 SSD 是發佈時唯一可用的 Gen6 SSD。根據 Forward Insights 分析師報告「2025 年第一季 SSD 供應商狀況」中所述,SSD 比較基於截至 2025 年 5 月營收排名前五的 OEM 資料中心 SSD 競爭性供應商目前正在生產和供應的主流資料中心 SSD。
- 9650 SSD 提升能源效率,其效能是美光前一代硬碟 9550 SSD 的兩倍,最大功耗同樣為 25 瓦。
- 每 U 容量按 E3.L 運算:(每個 SSD 245TB)x(每台 2U 伺服器容納 40 塊 SSD):若用此類伺服器填滿 36U 的機架空間,則每 U 的容量為 4.9PB;E3.S 規格:(每個 SSD 122TB)x 每個 1U 伺服器 20 個 SSD,使用 36U 機架空間 = 每 U 2.45PB。