AI 推動功耗，美光提高功耗效率

AI，AI，AI。我並不想透過堆砌詞彙來提高點選率，但在科技界，無論是參加會議和記者會，還是閱讀媒體文章，甚至與家人討論，我們都會反覆聽到這個只有兩個字母的縮寫詞。那麼，AI 在很大程度上是虛張聲勢和炒作嗎？ 我的朋友和公司副總裁 Jeremy Werner 認為並非如此，他使用各種方法進行預測，進而證明 AI 對我們所有人都有價值。（閱讀 2024 年全球儲存裝置與技術趨勢預測，第一部分和第二部分。） 

儘管 Jeremy 的敘述令人信服，但仍有人對 AI 能否兌現承諾嗤之以鼻。不過，讓我們花點時間回顧過去 20 年中改變我們生活和工作方式的諸多技術。我們幾乎每天都在使用搜尋引擎查詢重要（有時並不重要）的資訊。智慧型手機如此智慧，以至於我們很少拿來當作手機使用。誰會開車去陌生的地方而不使用 GPS 地圖？ 如果您會使用 GPS 以最快的路線回家，請舉手。您會去商店購物嗎？ 如果可以訂購商品並選擇送貨上門，估計很多人不會去商店。我們在很大程度上已經從有線電視（許多人稱之為「直播電視」）觀看電視劇和電影轉向串流媒體服務，如 Netflix。我們現在可以選擇觀看的內容，不再依賴電視網並被動地觀看節目。社群媒體讓我們無論身在何處都能與親朋好友保持聯繫。改善我們生活的變革性技術不勝枚舉。這就是我們現在所處的世界！  

與這些技術一樣，AI 很可能會兌現本身的許多承諾，特別是考慮到這項技術在未來 20 年的影響。即使我錯了，但有一點是肯定的，即我們的客戶已經將 AI 作為其技術生態系統的核心要素。從 2024 年到 2029 年，全球 AI 伺服器市場預計將增長 25%（營收年均複合成長率[CAGR]）。¹我們的客戶正在不斷擴充其 AI 工作負載並擴大其 AI 用例，這推動了 AI 伺服器採購量的增長。 

AI 伺服器解決方案的基本組成部分之一是 GPU 或加速器。這些 GPU 消耗大量電力。例如，NVIDIA H200 GPU 的功耗可高達 700 瓦。如果一台伺服器中有 8 個 H200 GPU，那麼耗電量就是 5,600 瓦。考慮到 SSD 的最大功耗為 25 瓦。即使伺服器中有 24 個 SSD，最大總功耗也只有 600 瓦。  

我知道。我知道。我比較的是最大功耗，而不是典型功耗。但這清楚地表明，系統中 GPU 的功耗理論上是 SSD 的 10 倍。與 GPU 相比，記憶體 CPU 和 DPU 通常也是如此。現在，客戶告訴我們，在伺服器上執行這些 AI 工作負載所需的電力已成為重要的考量。 

功耗是關鍵的基礎架構考量

在擁有更多使用者和更多內容的系統中使用 GPU，顯然會消耗更多電力。的確如此，但資料中心的耗電量在全球用電量中所佔的比例卻出奇地保持不變。

數位服務需求增長迅速。自 2010 年以來，全球網路使用者人數增加了一倍以上，而全球網路流量也增加了 20 倍。 

能源效率的快速提高有助於限制資料中心和資料傳輸網路的增長，這兩個領域的用電量各佔全球用電量的 1-1.5%。²

等等。網路使用者增加一倍。網路流量增加 20 倍，但只佔全球能源使用量的 1%-1.5%？ 為什麼這麼多年過去了，比例還是不變？ 部分原因在於美光不斷突破功耗效率極限。我們最近宣布，NVIDIA 正在其 H200 Tensor Core GPU 中使用我們的 HBM3E 記憶體。³根據 NVIDIA 的說法，其全新 H200 GPU 在進行大型語言模型（LLM）計算時，耗電量只有上一代產品的一半。耗電量的減少在很大程度上歸功於我們為耗電裝置提高功耗效率所做的努力。

美光走在永續發展的最前線

在美光，我們致力於為所有人創造永續發展的未來，我們也因此成為透過更具功耗效率、更高效能的 AI 解決方案減少對環境影響的領導者。這裡是其中幾個例子：

• 與競爭對手相比，Micron HBM3E 的功耗效率大幅提高。本身的功耗比競爭產品低約 30%。³該產品還擁有每秒 1.2 TB 的頻寬。
• DDR5 的推論功耗更低，在 AI 推論中的功耗最多可降低 48%。令人印象深刻的是，還能將訓練時間縮短 28%。⁴
• Micron 6500 ION SSD 在節省功耗的同時還延長了使用壽命。與競爭對手的 QLC SSD 相比，該款 SSD 的功耗降低了 20%，因此減少了營運成本；與競爭對手的 QLC SSD 相比，該款 SSD 的 4KB 隨機寫入耐用性提高了 10 倍，進而延長了使用壽命。⁵
• Micron 7450 SSD 的吞吐量是 7300 SSD 的兩倍，但功耗大致相同，能效（每段輸入／輸出操作[IOPS]的瓦數）提高了 50%。⁶
• Micron 9400 SSD 的功耗效率比上一代產品提高了 77%。⁷

我們引以為豪的是，我們能夠提高每一款新產品的標準，並確保在降低功耗方面盡自己的一份力量。我們還拒絕在效能、安全性和其他功能上妥協。為什麼？ 因為我們相信，在提供最佳技術的同時，還要注重永續發展。正如美光執行長 Sanjay Mehrotra 所說：「……你會發現，永續發展不僅是美光的願景、使命和價值觀的核心，也是我們長期策略計畫不可或缺的一部分。我們相信，我們有責任幫助引領整個產業的永續發展。」⁸說得好，Sanjay！ 

AI 將為人類帶來許多機會和好處，但在美光，我們不會忽略永續發展工作，因為永續發展與我們所做的一切密不可分，更因為我們認真對待我們對社會和地球的影響。