- US - English
- China - 简体中文
- India - English
- Japan - 日本語
- Malaysia - English
- Singapore - English
- Taiwan – 繁體中文
輸入無效。不支援特殊字元。
歷經三十餘年系統架構演進，記憶體已從默默無聞的配角躍升為舞台主角。早期，我們擔憂快取未命中和 DRAM 延遲問題。如今，我們則面臨如何為萬億參數 AI 模型提供資料，同時避免頻寬和功耗瓶頸的挑戰。記憶體墻並未消失——它只是轉移了位置。並且 AI 時代更使其變得更高聳。
重新定義記憶體牆
1994 年，Wulf 和 McKee提出「記憶體牆」警告——當 CPU 速度超越記憶體存取時間時，瓶頸便會顯現。他們的預言催生了多級快取、投機執行與亂序處理等架構革新。但這些技巧終究力有未逮。
現在，AI 工作負載重新定義了挑戰。挑戰已不僅攸關延遲，更涉及規模、頻寬和能耗。訓練大型語言模型意味著串流數 PB 的資料、儲存數百 GB 的權重，並即時完成這一切。傳統記憶體架構根本無法勝任。
AI 對記憶體如饑似渴
AI 模型堪稱記憶體怪獸。它們需要：
- 高頻寬以全速向 GPU 和加速器輸送資料。
- 大容量以容納龐大資料集和模型參數
- 低延遲以實現即時推理和響應。
- 能源效率以保障資料中心的永續發展。
對推理的日益關注帶來了新挑戰：
- 現代 LLM（如 GPT-3（1,750 億參數）或 GPT-4）僅儲存權重就需數百 GB 記憶體。
- 處理多個並發請求時，記憶體消耗呈指數級增長。例如，一個具有 128k 詞元上下文的 660 億參數模型在 10 次請求中消耗的記憶體超過 3 TB。
- 由於注意力機制，較長的上下文窗口（如 128k 詞元）會使記憶體消耗成四倍增長。
- 與訓練不同，推理場景（如聊天機器人、搜尋引擎）通常要求即時響應，而記憶體延遲會直接影響使用者體驗。如果記憶體存取速度緩慢，響應時間將受到影響。
快閃儲存：為管道注入資料
AI 不僅受限於記憶體，更受制於儲存裝置。要以足夠快的速度為 GPU 輸送資料，必須配備能匹配其速度的儲存裝置。美光 9650 PCIe Gen6 SSD 提供高達 28GB/s 的讀取速度和數百萬 IOPS，確保資料管道暢通無阻。美光 6600 ION SSD 容量高達 245TB，可將完整資料集部署在運算裝置附近，最大限度消除 I/O 瓶頸。
這些不僅是規格參數——更是賦能工具。它們使 AI 系統能夠以最低延遲和最高吞吐量大規模運行。
破解 AI 記憶體牆難題
那麼，我們應該如何解決 AI 記憶體牆問題呢？ 我們需要的不是單一解決方案，而是分層策略：
1. 分層記憶體和儲存裝置架構
AI 系統需要智慧型記憶體分層——將熱資料存入高速記憶體（HBM、DDR5），將溫資料存入較慢的記憶體（LPDDR5、快閃記憶體），將冷資料存入檔案儲存裝置。隨著新用例的湧現，這種分層機制將持續演進。關鍵值快取需要高效能儲存裝置以補充記憶體層。圍繞 RAG 和向量嵌入的新推理研發需要更多記憶體和對小容量 I/O 儲存裝置的快速存取。美光產品組合涵蓋所有這些層級，可實現無縫資料移動和最佳效能。
2. 記憶體內處理 (PIM)
與其將資料移至運算裝置，何不將運算裝置移至資料所在位置？ 美光正探索 PIM 架構，將邏輯嵌入記憶體模組，直接在記憶體中執行篩選或矩陣乘法等操作。此方法可減少資料移動、降低功耗並加速 AI 任務處理。
3. 具有能源效率的記憶體和儲存裝置
AI 工作負載極度耗電。記憶體可消耗資料中心 30% 以上的能源。美光在低功耗 DRAM 和新興非揮發性記憶體（如 MRAM 和 ReRAM）領域的創新，旨在降低能耗足跡。同樣，美光 9550 和美光 9650 SSD 等儲存解決方案的高效能、功耗效率和極高可靠性有助於在大型 AI 部署中節省機架空間、能源和更換成本，從而降低總體擁有成本。
4. 軟體驅動最佳化
硬體僅是成功的一半。更智慧的軟體——編譯器、執行時間和編排層——能夠最佳化記憶體使用、壓縮資料並智慧管理緩衝。美光在此領域的合作有助於確保記憶體的高效使用，而不僅是大量使用。
前路展望
我們正邁入運算的新階段，記憶體不再是瓶頸，而是策略資產。AI 時代需要兼具高速、可擴充性、持久性和功耗感知的記憶體和儲存裝置系統。展望未來，AI 的下一次突破不會僅來自於更快的處理器，將會來自於更智慧的記憶體和儲存裝置系統，為大規模部署提供最佳總體擁有成本（TCO）。如今，TCO 透過 IOPS/W/$ 和 TB/$ 組合進行衡量，以滿足特定用例的要求。透過以 AI 時代的需求為導向重新設計記憶體和儲存裝置，我們致力於將 AI 的「阿喀琉斯之踵」轉化為 AI 的下一個核心優勢。此舉將釋放當前難以想像的運算潛能——正如三十年前的軟盤和 32MB RAM 發展至今所實現的飛躍。
在美光，我們不只在夢想未來，更在創造未來。
