IDC 對建構未來資料中心的見解

本部落格由 IDC 特約撰稿人撰寫，發佈於 micron.com

迄今，資料中心系統架構正透過提高核心資料中心內的資料吞吐量，適應人工智慧 (AI) 的顛覆性影響。處理、記憶體、儲存裝置和網路技術集中於資料所在位置，試圖以最快的速度，主動將資料移動到需要的位置。*不過，AI 在資料中心的最終應用將是預測下一步需要資料的位置。

未來的資料中心位置將為一種混合模式，其基礎是集中式核心資料中心——裝滿伺服器的足球場大小的大型倉庫——和分散式邊緣資料中心，後者策略性地靠近使用資料的人群。由於離使用者更近的資料傳輸速度更快，所需能源更少，AI 將識別模式，預測哪裡需要資料，並主動而不是被動地在核心和邊緣之間移動資料。透過預測並主動將資料移動到需要的地方，企業可以充分利用分散式和異構運算的優勢。優勢包括：更快地存取和整合資料以進行分析，更妥善分配同步資源以及降低電力成本。

*資料要點：AI IT 基礎架構半導體和儲存機制的營收將在 2022-2027 年間以 36% 的複合年增長率增長，到 2027 年將超過 1,900 億美元。¹

新型資料中心架構的優勢

新興的元件和系統級技術將使系統設計師能夠重新架構核心和邊緣基礎架構系統，以實現 AI 預測和同步化的資料處理、儲存及移動。並且，這些技術還能夠根據技術的部署位置（核心或邊緣）實現更多的應用專向性。這些技術包括：

• HBM3E——高頻寬記憶體 (HBM) 是一種電腦記憶體介面，用於堆疊 DRAM 晶粒，並透過稱為矽通孔 (TSV) 的導線將 DRAM 晶粒連接起來。與傳統結構相比，HBM 結構可在更小的空間內封裝許多記憶體晶片，進而縮短記憶體與處理器之間的資料傳輸距離。
  
  最新一代的 HBM 是 HBM3E。HBM3E 採用 1024 位元資料路徑，執行速度為每秒 9.6 Gb (Gb/s)，可提供 1229 Gb/s 的頻寬。HBM3E 可將 1024 位元寬度的資料通道劃分為 16 個 64 位元通道或 32 個 32 位元通道，進而擴大資料中心系統設計人員可用的記憶體通道數量。HBM3E 可提供更高效能和更大容量的專用記憶體，例如用於伺服器 GPU 的記憶體，並能夠擴充記憶體以滿足不同工作負載的需求。美光和其他製造商將在 2024 年及以後生產 HBM3E。高頻寬記憶體已成為伺服器 AI 處理最常用的專用記憶體。
  
  
• Compute Express Link^TM (CXL)——這項技術將功能不同的晶片之間的協議標準化，例如微處理器與記憶體、微處理器與加速器以及記憶體與記憶體之間的協議，以便共享資源。CXL 基於 PCI Express^® (PCIe) 實體和電子介面。此技術包括輸入／輸出 (I/O)、快取一致性和系統記憶體存取協議。CXL 的循序通訊和池化功能使記憶體在實現高儲存容量的同時，能夠克服普通 DIMM 記憶體在效能和插槽封裝方面的限制。消除這些限制，意味著資料中心系統設計人員越來越不用擔心記憶體成為其目標工作負載效能需求的瓶頸。CXL 最初於 2019 年發佈 1.0 版本，1.1 版本的產品於 2022 年進入市場，3.1 版本於 2023 年底推出。美光是 CXL 聯盟的成員。
  
  
• Universal Chiplet Interconnect Express^TM (UCIe)——UCIe 技術將單一封裝內的矽晶粒（稱為晶片）之間的互連和協議標準化。UCIe 使技術供應商能夠在單一封裝內混合和匹配各種功能，進而建立可互通的多供應商生態系統，生產可針對特定工作負載自訂的晶片。UCIe 標準於 2022 年由包括美光在內的技術供應商聯盟推出。

藉助 HBM3E、CXL 和 UCIe 技術的同步化資料處理、儲存和移動功能，系統架構師能夠調整伺服器設計，使其適應預定工作負載的本地需求。記憶體、儲存裝置、運算和網路資源的共用池意味著每種資源都與其他資源保持一致，並且可以與其他資源相互存取。從固定構件到彈性、隨需的資源池，從靜態運算架構轉變為可組合運算架構。可組合運算是 AI 預測資料最佳化的基礎。
 

資料中心的未來

資料中心是主要 IT 市場趨勢的焦點，包括更多的資料和資料類型、多元化的工作負載、異構運算、分散式運算和 AI。因此，可組合運算是業界應對這些趨勢的重要手段，並將徹底改變系統架構。UCIe、HBM3E 和 CXL 代表著系統架構的根本性變革，據 IDC 預計，這些技術將在本十年結束前在主流資料中心伺服器中實現融合。

可組合運算方便任務在需要時存取所需的資源，無論這些資源是處理器或加速器的運算能力、主記憶體或專用記憶體的即時回應，還是網路的延遲最小化系統內或系統間通訊皆不成問題。對於大型語言模型 (LLM) 而言，採用可組合基礎架構可以動態擴充其處理能力、最佳化其資源利用率並加快其訓練速度。圖 1 說明了可組合運算如何幫助 AI 基礎架構系統擴充其擷取、移動、儲存、組織和利用資料的能力，以滿足特定工作負載的需求。

透過將 AI 系統分解為模組化、可重複使用的元件，研發人員可以利用可組合性（透過跨系統和資料中心的技術標準實現）來假設其 AI 模型將存在於可預測的系統環境中。這種假設反過來又允許他們混合和匹配預訓練模型、演算法和資料管道。因此，該方法可以更快地部署適應不同用例的 AI 模型，並對其進行最佳化，以預測接下來需要資料的地方。

本文所表達的觀點僅代表作者個人，與 Micron Technology, Inc.、其子公司或關聯企業無關。所有資訊按「原樣」提供，美光和作者不對所提供的資訊做出任何陳述或保證。美光會根據售出的產品、適用的數據表或規格，對其提供保固。資訊、產品和／或規格若有變動，恕不另行通知。美光和美光標誌是 Micron Technology, Inc. 的商標或註冊商標。第三方的任何名稱或商標均歸該方所有，且本文中的任何引用均不表示與這些第三方有任何認可、贊助或從屬關係。