設計工具
資料中心

每一瓦都很重要:低功耗記憶體如何改變資料中心

Sudharshan Vazhkudai | 2025 年 3 月

隨著 AI 技術的迅速崛起,資料中心正面臨持續的挑戰——如何在降低功耗的同時最大限度地提高運算效能。到 2028 年,美國資料中心和 AI 的耗電量將增加兩倍,進而推動我國能源需求的巨大增長。2023 年,美國資料中心的耗電量約為 176 太瓦時(TWh)。據預測,到 2028 年,這一數字將上升到 580 太瓦時,佔美國總用電量的 12%1,能源使用量在短短五年內將增加 3.3 倍。

在 AI 和其他資料密集型應用不斷擴張的推動下,這一預期的劇增突顯了先進硬體技術在支持美國和全球資料中心基礎架構日益增長的能源需求方面的重要性。2透過研發和採用美光® LPDDR5X 等創新型低功耗(LP)記憶體架構,資料中心可以大幅提高效能,並能夠避免傳統 DDR5 記憶體的能源損耗。

為什麼選擇 LP 記憶體?

美光® LPDDR5X 專為在提供高速效能的同時消耗更少能源而設計。與 DDR5 等傳統記憶體技術不同,LP 記憶體運行於較低的電壓,並透過以下方式提高功耗和能源效率:

  • 減少功耗
  • 降低發熱量
  • 最佳化以節能為重點的電路設計

對於 AI 驅動的資料中心來說,提高功耗效率和能源效率是一項持續的挑戰。想一想在大規模客戶支持環境中執行推理的 Llama 3 70B。單個 GPU 管理複雜的 AI 互動,同時即時處理數千個錯綜複雜的客戶查詢。LP 記憶體的使用將這一密集型運算工作量轉化為能源效率更高的過程。

圖 1:標準化延遲

圖 1:標準化推理吞吐量 Llama 3 70B

推理效能

當我們測試 LPDDR5X 記憶體(在搭載 NVLink 的 NVIDIA GH200 Grace Hopper 超級晶片上)與傳統 DDR5 記憶體(在搭載 PCIe 連線 Hopper GPU 的 x86 系統上)時,結果表明 LP 記憶體實現了關鍵的效能提升。當我們使用 Meta Llama 3 70B 測試推理效能時,結果表明 LP 記憶體系統在以下方面實現改進:

  • 推理吞吐量提高了 5 倍
  • 延遲減少了近 80%
  • 能源消耗降低了 73%
圖 2:標準化延遲

圖 2:標準化延遲 Llama 3 70B

在 AI 應用的運算需求與環保意識不斷提高的今天,低功耗記憶體不僅僅是技術升級,更是現代資料中心的策略需要。在實踐中,低功耗記憶體技術透過同時減少用電量和降低營運成本,提高資料中心的經濟效益。電力需求的減少直接轉化為冷卻要求和電費支出的降低。對於資料中心營運商來說,這些改進意味著更低的水電費和顯著減少的碳足跡。此外,營運商能夠在營運效率之外實現功耗和效能改善。憑藉更高的吞吐量和更少的延遲,使用者可以享受更順暢的體驗與更迅速的回應時間。

在 AI 應用的運算需求與環保意識不斷提高的今天,低功耗記憶體不僅僅是技術升級,更是現代資料中心的策略需要。在實踐中,低功耗記憶體技術透過同時減少用電量和降低營運成本,提高資料中心的經濟效益。電力需求的減少直接轉化為冷卻要求和電費支出的降低。對於資料中心營運商來說,這些改進意味著更低的水電費和顯著減少的碳足跡。此外,營運商能夠在營運效率之外實現功耗和效能改善。憑藉更高的吞吐量和更少的延遲,使用者可以享受更順暢的體驗與更迅速的回應時間。

資訊圖表顯示了採用 HBM3 的 LPDDR5X 與採用 HBM3 的 DDR5 相比的節能潛力。 圖 3:LLM 推理的能源效率


提高能源效率正在成為未來的趨勢

隨著 AI 的發展,資料中心的運算和記憶體不斷突破極限,LPDDR5X 等先進的記憶體技術透過提高資料中心的運行效率,正在成為永續運算的推動者。加速提高推理等 AI 任務的效能,同時降低功耗要求,將使我們能夠以更少的資源做更多的事情。提高能源效率正在成為未來 AI 發展的趨勢,因為 LP 記憶體向我們證明,我們可以在推動 AI 效能發展的同時減少碳足跡,最終為 AI 開闢一條更具永續性的發展道路。


瞭解更多


1. 美國能源部。(2024 年)。DOE 發布評估資料中心電力需求增長的新報告。https://www.energy.gov/articles/doe-releases-new-report-evaluating-increase-electricity-demand-data-centers

2. 國際能源機構。(2024 年)。2024 年電力:執行摘要。https://www.iea.org/reports/electricity-2024/executive-summary

系統設計工程研究員

Sudharshan Vazhkudai

Sudharshan S. Vazhkudai 博士是 Micron Technology 的系統設計工程研究員。他建立了資料中心和客戶端工作負載工程團隊,該團隊從端到端的系統視角理解如何使用深層記憶體層級建立針對工作負載最佳化的現代系統架構。在此之前,他在橡樹嶺國家實驗室工作了二十多年,負責建構資料中心解決方案。Vazhkudai 博士擁有密西西比大學電腦科學博士學位,並曾擔任田納西大學合聘教師。