為何液冷儲存裝置正在改變 AI 基礎設施的格局

在每一個 AI 助手、推薦、搜尋結果和智慧應用的背後，都有基礎設施在支撐，以滿足現代 AI 對資料傳輸速度的高要求。AI 基礎設施的擴充速度，超過了其構建時所基於的假設。機架的密度更高。GPU 效能更強大。現代 工作負載帶來的散熱需求，正考驗著那些並非為應對此類環境而設計的冷卻方案的極限。由此產生的是一項具有切實後果的基礎設施挑戰：當元件溫度過高時，它們會觸發降頻機制，導致流水線停滯，而那些旨在實現高速、大規模 AI 部署的系統便會在無聲無息中失效。對於美光而言，這意味著需要設計出不僅能提供高效能，而且能在現代 AI 基礎設施的熱負載條件下保持這種效能的儲存解決方案。

這一演變已在各大資料中心展開，並正在重塑營運商對技術堆疊各層（包括儲存裝置）的思考方式。對於任何從事大規模 AI 系統構建、營運或規劃的人員而言，理解冷卻環節在現代 AI 系統能效與效能平衡中的地位，正變得日益重要。

為何 AI 正在加速冷卻技術的演進

資料中心冷卻一直是一項核心工程學科。現代資料中心設施已部署多種有效方案，包括熱通道與冷通道封閉、晶片直冷技術以及全液冷伺服器。這些方法在業內成效顯著。然而，AI 對基礎設施的需求與其所促成的突破性進展成正比 - 從將藥物研發週期從數年縮短至數月¹，到利用 AI 賦能的醫學影像技術更早地發現癌症。²。

AI 正在推動機架功率達到新的水平，從而迫使這一演進邁出下一步。高端 AI 伺服器 GPU 的單晶片功耗已超過 1,200 瓦³。次世代機架級功率預計高達每機架 600 千瓦⁴，這相當於足以滿足數百戶普通家庭用電需求的電量。在這些功率水平下，冷卻已不僅僅是關於熱量管理的問題。這成為確保 AI 部署高效執行以及系統能夠提供使用者所期望體驗的關鍵因素。在如此高的密度下，AI 基礎設施的經濟效益與散熱需求正推動著更先進冷卻技術的普及，這些技術涵蓋了從儲存裝置到整個技術堆疊的各個層面。

不僅僅是 GPU 和 CPU 在主導散熱問題。伺服器中的每一個元件都對功耗與散熱預算產生影響，同時也都在優化這一預算方面發揮著作用。

儲存裝置（及液冷）在熱管理與效能表現方面所起的作用

在現代 AI 伺服器中，固態硬碟 (SSD) 並非熱無源元件。AI 伺服器的密度日益提高，在緊湊的主機殼內整合了大量高效能 NVMe™ 硬碟 — 這是一種專為滿足 AI 工作負載對速度和輸送量的嚴苛要求而優化的 SSD — 且每塊硬碟的功耗往往高達 25 瓦甚至更多。

在規模化應用中，這種集中的熱負荷會變得相當可觀。

當固態硬碟超過其最佳工作溫度時，硬碟會自動降低自身的工作強度，以防止損壞。這種行為被稱為熱節流。在 AI 推理或訓練流水線中，儲存裝置層的限流會產生瓶頸，進而波及上游環節。GPU 在等待資料時處於停滯狀態，運算週期被閒置，而營運方則需為那些在最需要時卻無法被充分利用的算力容量付費。其商業後果顯而易見。當儲存裝置在高負載下發生限速時，GPU 會處於等候狀態。處於等候狀態的 GPU 既不產生推理輸送量，也不服務於客戶，更無法證明其配套基礎設施的資本投入是合理的。對於大規模執行 AI 的營運方而言，這種閒置的運算時間並非一種抽象的低效現象。這限制了基礎設施的利用率，並降低了 AI 系統所能提供的效能。

液冷直接解決了這一問題。冷板式液冷的工作原理是將一塊導熱金屬塊緊貼在 SSD 外殼上。冷卻液（通常為水與乙二醇的混合物）流經加工在模組內部的通道，持續從熱源處帶走熱量。加熱後的流體在設施冷卻回路中循環，經冷卻後返回，從而重複這一過程。由於冷卻直接在裝置處進行，無需依賴氣流將熱量從高密度硬碟槽中帶走，因此即使在持續的高峰負載下，硬碟溫度也能保持在最佳範圍內。消除了限流，儲存裝置層的效能表現符合設計預期。

歸根結底，這種優勢源於物理學。液體傳熱的效率遠高於空氣。水-乙二醇冷卻液的熱容和密度特性意味著，體積小得多的冷卻液就能攜帶與體積大得多的氣流相同的熱能。利用小型循環泵輸送適量冷卻液，即可實現原本需要龐大風扇基礎設施才能達到的效果。正是這種效率差異，使得這些資料極具說服力。

效率資料揭示了什麼

美光針對包含 32 塊 NVMe SSD 的儲存裝置陣列進行了分析，該配置代表了 AI 和資料中心環境中日益普及的高密度儲存裝置方案，並類比了分別採用風冷與冷板式液冷技術以達到同等散熱效果所需的電力消耗。結果展示了差異的規模：風冷需要 37 到 80 瓦的電力來冷卻同一組磁碟機。冷板式液冷在 0.42 至 1.35 瓦的功耗範圍內即可實現同等的冷卻效果。要達到相同的熱效應，所需的能量大約減少了 98%⁵。

這並非微不足道的收益。這反映了液體與空氣作為傳熱介質時的一項基本實體特性。在磁碟機層面提升冷卻效率的同一優勢，也有助於降低冷卻和執行整個資料中心環境所需的能耗。

理解電源使用效率

電源使用效率 (PUE) 是營運商和投資者用來評估資料中心將市電轉化為有效運算工作之效率的指標。1.0 的 PUE 代表著完美的效率。在實際運作中，資料中心的能效比 (PUE) 通常在 1.2 到 1.5 以上；這意味著營運商採購的電力比伺服器實際消耗的電力多出 20% 到 50%，而這部分額外的電力消耗主要用於冷卻系統、配電設施及設施營運⁶。

液冷是降低 PUE 最直接的手段之一。當在裝置層面排出熱量時，設施中央空調系統的負荷便會降低。風扇轉速可以降低。每個運算週期的能耗開銷降低。對於超大規模營運商而言，即便 PUE 僅有小幅改善，也能轉化為能耗和營運成本的顯著降低。

這對 AI 推理部署意味著什麼

以一個在大規模伺服器環境中執行高容量儲存裝置的 AI 推理部署為例。在傳統的風冷散熱方式下，當推理負載達到峰值時，若儲存磁碟機在接近其熱極限的狀態下執行，便會開始觸發降頻機制，從而降低向 GPU 傳輸資料的速率。GPU 在等待資料時，處於部分閒置狀態。營運商為運算能力付費，而這些能力恰恰在需求最高峰時無法得到充分利用。

在相同的儲存裝置配置下採用冷板式液冷技術，硬碟在持續負載期間能夠保持穩定的溫度。消除了效能節流。GPU 利用率得到提升。散熱能耗從每個儲存裝置機架數十瓦降至不足兩瓦；對於大規模、持續執行的部署而言，這種降幅帶來的累積效益相當可觀。

其中的邏輯顯而易見。能夠消除儲存裝置層熱點瓶頸的基礎設施，使得更多的可用運算能力能夠得到有效利用。能源效率與效能利用率並非相互衝突的目標，而是相輔相成。

未來之路

液冷 SSD 並非一種前瞻性概念。它們是一種可部署的解決方案，旨在應對那個已導致營運商在運算時間、能耗和效能方面付出代價的問題。對於構建 AI 基礎設施的人員而言，它們提供了一條直接途徑，能夠實現更高的 GPU 利用率、更低的散熱開銷，以及在持續負載下穩定的效能表現。

隨著 AI 工作負載持續增長，支撐這些負載的基礎設施必須能夠高效傳輸資料，在高負載下保持效能，並支援使用者日常依賴的各種體驗。液冷儲存裝置是這一演變過程中的重要一環。

如需進一步瞭解美光如何為 AI 資料中心構建記憶體與儲存解決方案，請造訪我們的資料中心洞察頁面，並閱讀關於低功耗 DRAM 如何重塑資料中心記憶體的相關文章。