記憶體與儲存裝置如何成為 AI 時代的基石

關於 AI 的主流敘事一直圍繞著 GPU 和加速器展開，它們已成為這一時代的象徵。當目標是訓練規模最大的模型時，這種敘事合乎情理；但如今，它已無法涵蓋全貌。截至 2026 年年中，系統效能日益受到資料移動、延遲和頻寬的影響，而不僅僅是運算能力。

真正的主角，那個將定義未來十年的故事，在於記憶體與儲存裝置。AI 不再僅僅受限於算力。它受限於資料移動、存取和處理的效率。這一轉變改變了一切：包括 AI 基礎設施的構建方式、投資流向，以及組織如何有效地擴充 AI 應用。

AI 基礎設施領域被忽視的轉變

2023 年，約三分之二的 AI 算力支出用於模型訓練。到 2026 年底，這一比例將發生逆轉：推理 - 即部署 AI 並將其投入實際應用的過程 - 將佔據所有 AI 運算支出的三分之二。¹

問題不再是誰能訓練出最大的模型。關鍵在於誰能高效、經濟地大規模部署 AI。對於規劃 AI 基礎設施的領導者而言，這意味著應將記憶體和儲存裝置視為戰略性設計決策，而非在確定運算方案後才新增的輔助元件。

這一轉變代表了 AI 基礎設施格局的根本性重構。隨著 AI 從階段性的訓練工作轉向全天候執行的推理及具有自主代理特性的工作負載，其成功與否日益取決於能否在實際功耗與散熱限制範圍內，以高速且持續的方式支援這些 AI 工作負載。記憶體與儲存裝置處於這一挑戰的核心。

International Data Corporation (IDC) 的一項分析進一步印證了這一點：加速器的利用率現已取決於對資料的高頻寬、低延遲持續存取，而資料移動與資料局部性正逐漸成為制約 AI 可擴充性的關鍵因素。²

四類工作負載，一個統一基座

隨著 AI 應用的普及，基礎設施需求正受到四類不同工作負載的影響，而每一類工作負載都具有各自的特性與增長軌跡。

• 培訓：以 GPU 為主導、運算密集且集中式，持續增長但增速保持在 25% 這一穩健水平。³
• 推論：部署於貼近使用者之處，效率日益提升，並亟需在記憶體容量與頻寬之間實現平衡。按 79% 的複合年增長率預測，它是增長最快的工作負載。⁴
• 代理式：保持持久狀態，持續執行，編排多步驟的自主工作；與簡單的聊天機器人查詢相比，它對記憶體、上下文和資料存取的要求要高得多。Gartner 預測，到 2026 年底，40% 的企業級應用將整合 AI 代理，而這一比例在短短幾年前僅為約 5%。⁵ 這些代理需要龐大的記憶體容量（例如持久化鍵值 (KV) 快取、超過 100 萬權杖的背景視窗等），並有望在混合雲端和邊緣基礎設施上同步執行。
• 通用運算：以 CPU 為中心，且呈溫和增長態勢 這完善了均衡矽片架構的圖景，其中 CPU、加速器（如 GPU）、記憶體和網路各司其職，發揮著重要作用。

結果：該產業正從‍‍「GPU 超級週期‍‍‍‍‍」向均衡的晶片架構轉型，其中記憶體、CPU 和網路與加速器具有同等重要的戰略地位。

在這些各類工作負載中，呈現出了相同的模式：AI 的效能日益取決於資料在記憶體與儲存裝置之間流轉的效率，而不僅僅取決於可用的算力規模。

效率方程

預計全球資料中心的電力消耗將從 2024 年的約 415 太瓦時升至 2026 年的約 1000 太瓦時。到 2027 年，僅用於冷卻，AI 的需求就可能消耗 42 億至 66 億立方米的水。機架功率密度已增長了一倍以上，其中 AI 訓練叢集正向著每個機架 80 至 120 千瓦的水平邁進。⁶

然而，效率曲線的演變速度比大多數人意識到的要快，而記憶體技術正引領著這一趨勢。IDC 的分析框架在這裡特別有用：能效比（每瓦效能）正成為衡量 AI 基礎設施的關鍵指標，因為電力供應和散熱限制日益制約著系統的部署。在那種環境下，高效的記憶體與儲存裝置絕非無關緊要的技術細節。它們正日益成為推動 AI 可擴充性、可存取性及成本效益的關鍵因素。美光產品組合中的幾個範例印證了這一趨勢：

• 美光 HBM3E 的功耗比競品低 30%，同時提供高出 50% 的記憶體容量。⁷
• 該公司的 1γ（1-gamma）工藝節點 - 即其採用極紫外 (EUV) 光刻技術的最進階工藝 - 將 DDR5 解決方案的效能提升了 15%，並顯著提高了能源效率。⁸
• LPDDR5X 具備卓越的效能功耗比，非常適合推理及 AI 工作負載，因為在這些情境中，能效是首要的設計考量因素。
• 目前已進入大規模量產階段的 HBM4，在保持能效領先優勢的同時，效能較 HBM3E 預計將提升超過 50%。⁹

這些並非漸進式的收益。這是一種複合效率優勢，與 AI 的複合式增長同步推進。而液冷技術正在進一步加速這一趨勢。直接液冷技術在晶片層面進行散熱，從而降低用水量與功耗，並形成一種在機架、設施及區域各層級間不斷疊加的良性循環。¹⁰

當 AI 變得觸手可及之時

儘管 AI 推理成本已大幅下降（兩年內降幅約為 280 倍），但企業在 AI 方面的支出仍在持續增加，因為 AI 的使用規模擴張速度遠超單位成本的下降速度。¹¹ 隨著 AI 部署的經濟效益不斷提升，各類機構正探索將智慧技術應用於醫療保健、科學研究、物流運輸及日常業務營運等領域的新途徑。記憶體和儲存裝置在這一趨勢中發揮著重要作用。更快的資料傳輸、更高的利用率以及更高效的基礎設施有助於降低交付 AI 的成本，從而推動其在更多使用案例中的廣泛採用：

• 製造商可以部署 AI 輔助的品質檢測，而此類檢測以往因營運成本過高而無法持續進行。
• 位於農村地區的診所也有能力採用 AI 輔助診斷。
• 經費不足的研究機構的研究人員，也能夠執行以往需要超級電腦才能執行的模型。

這就是專業知識的民主化，而且這並非遙不可及的承諾。具備自主能力的 AI 憑藉其對記憶體和儲存裝置的巨大需求，使這一切成為可能。隨著 AI 的應用呈指數級增長，且智慧部署成本不斷下降，記憶體與儲存裝置的戰略重要性愈發凸顯，因為它們正是實現這種規模化擴充的關鍵支撐。能夠消除資料瓶頸的組織，將處於實現 AI 全部價值的最佳位置。

由記憶體與儲存裝置賦能的未來

三股彙聚的力量正在重塑 AI 基礎設施的格局：

1. 晶片能效 - 每一代產品都在單位功耗下提供更強智慧的記憶體與儲存裝置技術。
2. 架構演進 - 推理與具有自主能力的 AI 節點分佈於網路邊緣，並與可再生能源設施協同部署。
3. 工作負載成熟化 - 即從訓練階段向全天候推理及代理式 AI 的轉變，在此過程中，AI 的價值將在數百萬種使用案例中得以體現。

記憶體為運算提供支撐。高效記憶體為均衡的矽堆疊提供支援。基於這一技術堆疊構建的未來，將是一個讓任何人、在任何地方都能獲得由 AI 驅動的機遇的未來。

IDC 的結論與之相符：隨著 AI 日益融入醫療保健、科研、製造、物流及日常商業營運等各個領域，那些將記憶體與儲存裝置視為核心賦能要素（而非事後考量）的機構，將處於最有利的地位，從而充分釋放 AI 的全部價值。

AI 的未來，不僅取決於智慧如何被創造，更取決於它能以多高的效率交付給那些依賴它的個人、組織和社群。