無論是助力研究人員發掘新見解的 AI 系統，還是適應即時狀況的物流網路，亦或是利用模擬技術打造更優產品的工程師 - 這一切的執行都離不開資料中心；這些資料中心既要提供卓越的效能，又要不斷提升營運效率。隨著 AI 從實驗階段邁向生產應用，並從簡單的「查詢-回應」模式演變為能夠自主進行推理、規劃與行動的持續性代理式系統，底層基礎設施所面臨的需求正急劇增長。
業界討論的焦點很大程度上集中在處理器上：即那些競相跟上日益複雜的 AI 工作負載步伐的 GPU 與自訂晶片。但處理器只是故事的一部分。為這些處理器提供支援的記憶體系統同樣至關重要，但人們對它們的瞭解或許相對較少。記憶體決定了資料傳輸至運算引擎的速度、模型工作資料集可隨時調用的容量，以及伺服器對所消耗每一瓦電力的利用效率。AI 基礎設施的經濟效益日益取決於營運商將電力、冷卻能力和資本投入轉化為可用算力的效率，而記憶體正成為提升這一效率的關鍵槓桿之一。
正因如此，長期以來與行動裝置緊密相關的低功耗記憶體技術 - LPDDR，也應納入資料中心領域的探討範疇。一旦 AI 從偶爾進行的訓練工作轉向持續的推理執行，高能效記憶體就不再僅僅是行動裝置設計上的一項優勢。這成為了一種基礎設施優勢。
在現代 AI 系統的各項關鍵特性中，能源效率對於推理和具有自主代理能力的 AI 工作負載而言正變得尤為重要，這也是 LPDDR 在資料中心架構中發揮日益重要作用的原因之一。
對於資料中心營運商而言，好消息是記憶體領域的創新從未像現在這樣充滿活力。從大容量伺服器記憶體到低功耗記憶體架構，再到專為 AI 加速器設計的高頻寬記憶體，如今業界擁有了前所未有的豐富手段，能夠為各類工作負載匹配最合適的記憶體方案。這一演進的核心在於 LPDDR，它是專為滿足推理和代理式 AI 對現代基礎設施提出的能效比（效能/功耗）需求而打造的。多年來，LPDDR 主要與行動裝置聯絡在一起，而在這些裝置中，在最大限度提升效能的同時將功耗降至最低至關重要。隨著 AI 基礎設施日益受到電力和散熱條件的制約，同樣的設計原則在資料中心領域正煥發出新的價值。在許多 AI 環境中，效率現已成為效能考量中不可或缺的一部分。瞭解其重要性是瞭解 AI 基礎設施如何發展的關鍵。
把它想像成州際高速公路系統
若要理解為何記憶體架構對現代 AI 系統至關重要，不妨參考一個我們熟知的類比：為一家全天候運轉的大型製造工廠提供服務的州際高速公路系統。
工廠就是處理器 - 它既強大又高效，但其成效最終取決於運抵裝卸平台的原材料品質。高速公路網路就是記憶體系統 - 這是一種基礎設施，負責盡可能快速、高效地將資料從其儲存位置輸送到需要它的地方。
在該工廠營運初期，提高產量的解決方案很簡單：拓寬州際公路，讓卡車跑得更快。那樣的做法在很長一段時間裡都很有效。然而，隨著工廠日益複雜 - 不僅要同時執行數百條生產線，還要應對不斷變化的庫存，並維持全天候（24 小時）運作 - 僅靠「輸送量」這一指標已不足以滿足需求。
該工廠真正需要的是一個更智慧的物流網路：這不僅意味著更寬闊的高速公路，還包括更多的高速公路、更近的配送中心以及效率更高的運輸車輛。正如沒有哪種物流方案適用於所有工廠一樣，也沒有哪種記憶體技術能滿足所有工作負載的需求。現代 AI 基礎設施的運作方式也是如此。
為何推理與具備自主行動能力的 AI 改變了局面
AI 發展的早期階段，其特徵是規模龐大且呈間歇性特徵的工作負載 - 例如模型訓練和批次處理工作，在這些情境下，一定程度的低效是可以容忍的。如今，這一考量標準已經發生了變化。大規模推理與代理式 AI 系統持續執行，與使用者即時互動，且必須在毫秒級時間內做出回應。它們不僅部署在超大規模資料中心，還部署在分散式雲端區域、邊緣節點及企業環境中。
這種轉變對記憶體技術產生了實質性影響：
- 推理工作負載不僅受限於運算能力，還受限於記憶體頻寬。在純粹的推理工作負載中，模型已完成訓練；此時的關鍵在於其參數、上下文及中間狀態的載入、存取與重新整理速度 - 而且這一切需要針對成千上萬的併發使用者反復進行。
- 代理式系統因同時維持較長的對話上下文、執行多步推理鏈以及協調與外部資料來源的互動，從而加劇了記憶體壓力。
- 延遲成為影響使用者體驗的一個變數。在代理式 AI 中，回應緩慢不僅會讓使用者感到沮喪，還可能破壞互動的連貫性。支援快速、一致回應的記憶體架構與產品品質及使用者滿意度直接相關。
對於 AI 資料中心而言，哪些記憶體特性最為重要？
在現代 AI 基礎設施的背景下，四個記憶體特性已變得至關重要：頻寬、能源效率、容量和回應速度。不同的記憶體技術以不同方式應對這些問題 - 這正是尖端 AI 伺服器依賴多種不同記憶體技術的原因所在。
- 頻寬：大規模交付資料
即使是最強大的處理器，其執行速度也受限於資料送達的速度。在 AI 系統中，記憶體頻寬（即資料在記憶體與運算單元之間傳輸的速率）決定了處理器因等待下一條指令而處於空閒狀態的頻率。
當頻寬不足時，處理器會花費時間等待資料，而不是執行有效工作。能夠增加並行資料傳輸的架構方法有助於最大化系統整體輸送量。
- 能源效率：讓每一瓦發揮更大效能
人們日益期望 AI 系統能夠持續執行、同時服務更多使用者並處理更大規模的資料。在那樣的環境下，能源效率不僅僅關乎降低功耗。其核心在於，利用每一瓦可用能量，最大化基礎設施所能完成的有效工作量。
能夠提升能效比（每瓦效能）的記憶體技術，使得伺服器能夠在相同的 IT 基礎設施規模下，處理更多請求、提供更快的回應，並支援更多由 AI 驅動的體驗。隨著 AI 應用日益廣泛，效率已成為拓展基礎設施能力的一種途徑。
- 容量：保持更多資料可用
容量決定了有多少資料能夠保持隨時可供運算存取的狀態。隨著 AI 模型規模不斷擴大且執行狀態日益複雜，將更多資料保持在靠近運算資源的位置，有助於減少中斷並維持效能。
- 回應速度：使用者體驗到的速度
在 AI 系統中，回應速度決定了系統能否在模型需要特定資料時，迅速將其呈現出來。這一點在即時 AI 應用中尤為重要，因為在這類應用中，使用者體驗是以毫秒為單位來衡量的。能夠確保活躍資料集隨時可存取並最大限度減少擷取延遲的記憶體架構，直接有助於提升端到端系統的回應速度 - 其中包括「首個詞元產生時間」等日益被用於衡量 AI 推理服務品質的指標。
關鍵不在於某種單一的記憶體技術應當滿足所有 AI 工作負載的需求。AI 基礎設施需要更專業的記憶體層級架構，其中 HBM、DDR5、LPDDR 和高速儲存裝置 (SSD) 各自滿足不同的系統需求。
專為全方位需求構建的產品組合
當今資料中心記憶體格局是一個互補的生態系統，各種技術根據工作負載需求、系統架構和部署環境發揮著不同的作用。美光的產品組合旨在滿足這一全方位的需求。
HBM 處於效能金字塔的頂端，專為最嚴苛的 AI 工作負載（包括大規模訓練和高效能推理）而打造。由於它與處理器堆疊在一起，因此提供了現有各類記憶體中最高的頻寬。美光創新的工藝技術與設計，助力我們的 HBM 實現了產業領先的能效表現。
DDR5 是久經考驗、高容量的伺服器記憶體基石 - 它具備廣泛的相容性，在企業級和雲端環境中歷經實戰檢驗，並針對與 AI 並行執行的各類通用工作負載進行了優化。當 AI 代理式執行資料庫工作和請求時，它們往往會將這些工作和請求傳送給這些傳統伺服器。DDR5 的作用並未減弱；恰恰相反，AI 基礎設施的擴張規模正推動著對 DDR5 容量持續且巨大的需求。
LPDDR 在 AI 架構中佔據著獨特且日益具有戰略意義的地位。儘管 DDR5 依然是許多通用型及容量密集型伺服器工作負載的首選，但在以推理工作為主、且能效比（每瓦效能）作為主要設計考量的環境中，LPDDR 顯得尤為具有吸引力。LPDDR 專為實現高效能與卓越能效而從底層重新設計，其每瓦頻寬特性尤為適合持續的 AI 推理服務及代理式工作負載。隨著 AI 從模型開發轉向實際部署，推理工作負載在數以千計的使用者和系統間持續執行。這使得能效比（即單位功耗下的效能）成為基礎設施設計中日益重要的因素。
SOCAMM2 模組採用專為伺服器設計的、便於維護的封裝形式，提供多種 LPDDR 封裝選項；這不僅將 LPDDR 在能效與密度方面的優勢帶入了更廣泛的資料中心架構，同時也滿足了企業級環境對可靠性、可用性和可維護性 (RAS) 特性的要求。
這些技術共同構成了一個記憶體產品組合，能夠滿足各類 AI 工作負載的需求 - 從運算密集度最高的訓練工作，到定義了「代理式 AI」時代的持續性、低延遲推理服務。
美光的角色：在全系列產品組合中展現出的 LPDDR 領先地位與深厚實力
美光在這一格局中的地位，體現了其在記憶體技術領域數十年的投入、與超大規模雲端服務商及技術領軍企業的深度合作，以及旨在支援全球規模 AI 基礎設施的製造佈局。
這種廣度至關重要。AI 系統需要多種記憶體技術協同工作，而客戶需要能夠提供涵蓋整個技術堆疊的效能、能效、品質及長期供應保障的合作夥伴。從 DDR5 和 HBM4 到 LPDDR 和 SOCAMM2，美光的產品組合旨在滿足現代 AI 基礎設施的多樣化需求。
隨著能效成為 AI 領域的關鍵制約因素，美光在低功耗記憶體領域的領先地位顯得尤為重要。多年來在 LPDDR 架構、製造及標準制定方面的投入，使該公司在這一技術領域佔據了領先地位；該技術正日益在資料中心領域展現出新的重要價值。SOCAMM2 的推出正是這一演進的例證，它將 LPDDR 的能效優勢延伸到了適用於更廣泛伺服器架構的模組化規格之中。
大局觀
向 AI 原生基礎設施的轉型仍處於早期階段。隨著具有自主能力的 AI 系統功能日益強大並持續執行，加之 AI 原生應用不斷擴充規模，能效正成為現代基礎設施的關鍵制約因素之一。
對於那些需要持續執行、同時服務大量使用者並進行即時回應的系統而言，無法採用「一刀切」的記憶體策略。大規模執行 AI 的經濟性 — 具體體現在功耗、散熱能力、基礎設施利用率及總體擁有成本等方面 — 使得記憶體架構成為一個競爭性變數，而不僅僅是一項技術選擇。
在此環境下，LPDDR 正發揮著日益重要的戰略作用。它最初是為對能效敏感的環境而開發的，其能效比（每瓦效能）特性與現代推理及代理式 AI 工作負載的需求高度契合。在人們目光自然聚焦於處理器的環境下，能夠為處理器提供高效資料支援的記憶體架構，其重要性或許同樣舉足輕重。
記憶體只是故事的一半
儘管記憶體在 AI 系統效能中處於核心地位，但它只是更廣泛的基礎設施體系中的一環。在推理與代理式 AI 的時代 - 即系統必須持續擷取大量資料、對其進行推理並據此採取行動的時代 - 儲存裝置發揮著同樣至關重要的作用。在持久性儲存裝置與活躍記憶體層級之間高效移動資料的能力，不僅決定了 AI 系統的回應速度，還決定了其在大規模執行時的成本效益。即便擁有全球設計最精良的記憶體架構，其效能表現也受限於為其提供資料的儲存裝置基礎設施。如需深入瞭解制約 AI 資料中心的基礎設施瓶頸，請閱讀我們關於液冷技術與能效的相關文章。