更快速的資料中心。
更快的 AI。

每一分鐘……


都有視訊被上傳。都有直播開啟。都有照片被分享。在每一個這樣的時刻背後,資料都在被建立、傳輸、儲存和分發。即時、無縫且規模化地進行。以下資料增長情況凸顯了 AI 基礎設施所面臨的需求,以及記憶體和儲存裝置在維持資料流動方面所發揮的關鍵作用。

每一個數字時刻都遵循同樣的路徑:建立、儲存、服務與學習。

建立

AI 助力內容建立、問題解答、產生推薦以及驅動個人助理。高頻寬記憶體助力 AI 資料中心高效、大規模地處理並產生這些體驗。

代表視訊內容的播放按鈕圖示。

儲存

資料中心儲存並組織大量的內容、模型和資料,以確保在需要時隨時能夠獲取資訊。隨著資料量的增長,容量儲存裝置有助於高效地儲存和擷取這些資訊。

代表多個內容檔案的三個文件圖示。

服務

每一次流媒體播放、搜尋、推薦和 AI 回應,都依賴於即時傳輸資料的各類資料中心。系統記憶體有助於在儲存、運算和使用者之間以低延遲保持資料流動。

顯示視訊內容的行動裝置。

學習與提升

每一次互動都有助於提升 AI 系統的智慧水平,從而帶來能力更強、更個人化的體驗。記憶體與儲存裝置協同工作,負責擷取、處理並儲存新資訊,從而使 AI 系統能夠持續改進。

代表資料流動的網路連接圖示。

美光。處於 AI 的核心。

AI 正在改變世界的運作方式,助力企業加速創新、做出更明智的決策並開啟新的可能。在每一個 AI 資料中心背後,記憶體與儲存裝置都有助於決定資料在傳輸、擴充及價值實現方面的效率。美光的記憶體與儲存解決方案,為當今企業所依賴的突破性創新以及未來將要創造的各種機遇奠定了堅實基礎。

配備伺服器機架和網路基礎設施的現代化資料中心通道。

AI 催生了新一代資料中心基礎設施

現代資料中心正在進行重新設計,以支援日益複雜的 AI 工作負載。隨著資料的產生、儲存、傳輸和處理量不斷增加,記憶體與儲存裝置已成為推動效能、效率及規模擴充的戰略性資產。

AI 資料中心需要新的記憶體與儲存裝置策略

並非所有的 AI 工作負載都需要相同的基礎設施。從訓練與推理到代理式 AI 與分析,企業需要將記憶體與儲存裝置進行恰當組合,以優化效能、效率和規模。

專為未來而構建的 AI 基礎設施合作夥伴

大規模構建 AI 需要合適的技術與合適的合作夥伴。憑藉先進製造工藝、產業領先的記憶體與儲存解決方案以及深度的生態系統協作,美光助力客戶以更高的效能、效率和信心部署 AI。

適配各類 AI 工作負載的理想記憶體與儲存裝置


每一次視訊上傳、AI 回應產生和推薦推送,都依賴於資料在多層記憶體與儲存裝置間的流動。在每一層採用合適的技術,有助於賦能 AI 助手、個人化體驗以及現實世界的實際成效。

與金字塔互動,瞭解美光如何支援 AI 流程的各個階段。

箱內一瞥

常見問答

AI 資料中心是專為支援人工智慧工作負載(包括 AI 模型訓練、推理及大規模資料處理)而設計的設施。AI 資料中心結合了運算、網路、記憶體、儲存裝置和冷卻技術,以傳輸、處理和儲存大量資料。像美光這樣的公司提供記憶體與儲存裝置技術,助力 AI 資料中心實現現代 AI 應用所需的效能、效率與規模。

傳統資料中心支援廣泛的業務應用,而 AI 資料中心則針對 AI 工作負載進行了優化,這些工作負載對算力、記憶體頻寬、儲存裝置效能及網路容量有著遠超常規的高要求。隨著 AI 模型日益複雜,AI 資料中心的設計旨在支援更大的工作負載,並提供更高的效能、連接能力和效率。構建和營運 AI 資料中心的企業,通常採用 GPU 加速伺服器、先進冷卻系統、高速網路以及高效能記憶體與儲存裝置,以確保資料在 AI 處理流程中高效流動。

AI 資料中心利用高效能伺服器叢集來處理和儲存大量資料。資料從存放裝置傳輸至記憶體,經由 AI 模型處理,並作為輸出結果交付給產生 AI分析機器學習推理等應用。為了保持效能與效率,運算、記憶體、儲存裝置、網路、供電及散熱系統協同工作,構成一個整合化的流水線。這種協同有助於企業高效交付由 AI 驅動的服務、洞察與體驗,其中記憶體和儲存裝置等技術在整個 AI 工作流程中發揮著至關重要的作用。

AI 基礎設施是指支援組織開發、訓練、部署和執行 AI 應用程式的硬體、軟體、網路、記憶體、儲存裝置及電力系統。它為整個 AI 生命週期提供了支撐基礎,助力企業將大量資料大規模轉化為由 AI 驅動的洞察與服務。AI 基礎設施整合了運算、網路、記憶體和儲存裝置技術,為 AI 體驗、洞察與服務提供支撐。大型雲端服務提供者和科技公司通常營運超大規模資料中心,這些是旨在支援大量運算工作負載的巨型設施。規模較小的機構經常使用主機託管設施,即租用空間、電力和冷卻資源來安置其設備,而不是自行建造和維護資料中心。

伺服器機架是一種標準化的機櫃,用於容納伺服器、儲存裝置系統、網路設備及電源元件。在 AI 資料中心,伺服器機架整合了支援大規模 AI 工作負載所需的運算、網路、記憶體和儲存裝置技術。AI 伺服器機架通常包含高密度 GPU 伺服器、高速網路、先進的冷卻技術,以及有助於確保資料在 AI 流水線中高效流動的記憶體與儲存裝置系統。

記憶體和儲存裝置在 AI 效能中發揮著至關重要的作用,因為 AI 系統依賴於對大量資料的快速存取。記憶體將活動數據資料保持在靠近處理器的地方,從而幫助 AI 應用即時產生回應、做出決策並處理工作負載。儲存裝置儲存著支撐 AI 生命週期的訓練資料、AI 模型及輸出結果。記憶體與儲存裝置協同工作,助力企業在整個 AI 流程中高效地移動、處理、儲存和擷取資料。隨著 AI 能工作負載在規模和複雜性上的不斷增長,記憶體與儲存裝置的恰當組合對於效能、效率及擴充能力至關重要。

最佳的記憶體與儲存解決方案取決於具體的 AI 工作負載,但大多數 AI 資料中心都採用高頻寬記憶體、DRAM 和高效能 SSD 相結合的方案。不同的 AI 工作負載對頻寬、容量、延遲和能效有著不同的要求,因此 AI 流水線的各個階段都需要匹配相應的記憶體與儲存裝置技術。這些技術協同作用,有助於消除瓶頸、提升效率,並提供現代 AI 工作負載所需的效能。美光提供專為 AI 基礎設施設計的記憶體與儲存解決方案。美光 HBM 助力實現 AI 加速器所需的頻寬,美光 DDR5 DRAM 支援記憶體密集型伺服器工作負載,而美光資料中心級 SSD 則提供對 AI 資料集和模型快速、可靠的存取能力。這些技術協同工作,有助於保持資料高效流動,從而實現更快的 AI 訓練、推理和資料處理。

繼續與美光探討 AI

 

  1. 根據 Statista 的資料,全球每分鐘有 16,000 個短視訊上傳至 TikTok 平台。TikTok - 統計資料與事實 | Statista
  2. 報告顯示,2025 年全球範圍內,YouTube 上每分鐘平均上傳 500 小時的視訊(約 2,500 個視訊)。2026 年 YouTube 統計資料 [按國家/地區劃分的使用者 + 人口統計資料]
  3. 據 Tech Business News 報導,2025 年全球每天平均產生 4.0274 億太位元組的資料。‍‍「建立‍‍‍‍‍」包括新產生、擷取、複製或使用的資料。402,740,000 TB / 1,440 分鐘 = 279,680.56 TB/分鐘(或約 279,600 TB) - 2025年每天產生 4.0274 億 TB 資料。
  4. 對比 HBM4 12 層堆疊與 HBM3E 12 層堆疊。在相近的速度下,能效以每比特皮焦耳 (pJ/bit) 為單位進行衡量。
  5. 基於美光內部模型(參考 ACM 出版物)與 H100 平台的對比。
  6. 與 128GB(上一代)SOCAMM2 相比。
  7. 結果基於美光內部使用 Llama3 70B 模型(採用 FP16 量化)進行即時推理的測試,上下文長度為 500K,並有 16 個併發使用者。預計 TTFT 延遲改善是基於每個 CPU 使用 2TB LPDRAM 的延遲為 0.12 秒,而每個 CPU 使用 1.5TB LPDRAM 的延遲為 0.28 秒。
  8. 結果基於美光內部 LPDDR5x 功耗運算器,並基於預估的 AI 使用場景及條件。
  9. 與 LPDDR5X 8533 Mb/s 相比。
  10. 與上一代相比。
  11. 基於 Intel Memory Latency Checker (Intel MLC) 的實測資料,對比了 128GB MRDIMM(8800 MT/s)與 128GB RDIMM(6400 MT/s)。
  12. 基於 1TB 容量的 Stream Triad 實測資料,對比了 128GB MRDIMM (8800 MT/s) 與 128GB RDIMM (6400 MT/s) 的效能。
  13. 針對 OpenFOAM 工作能耗的實證對比:128GB MRDIMM (8800 MT/s) 與 128GB RDIMM (6400 MT/s)。
  14. 效能優勢是基於 9,200 MT/s 與 6,400 MT/s 產品的對比運算得出的。
  15. 以瓦特為單位測量的執行功率。運算依據:比較兩根功耗為 9.7 W(總計 19.4 W)的 128GB 模組與單根功耗為 11.1 W 的 256GB 模組。
  16. 9650 SSD 是發佈時唯一可用的 Gen6 SSD。根據 Forward Insights 分析師報告「2025 年第一季 SSD 供應商狀況」中所述,SSD 比較基於截至 2025 年 5 月營收排名前五的 OEM 資料中心 SSD 競爭性供應商目前正在生產和供應的主流資料中心 SSD。
  17. 9650 SSD 提升能源效率,其效能是美光前一代硬碟 9550 SSD 的兩倍,最大功耗同樣為 25 瓦。
  18. 每 U 容量按 E3.L 運算:(每個 SSD 245TB)x(每台 2U 伺服器容納 40 塊 SSD):若用此類伺服器填滿 36U 的機架空間,則每 U 的容量為 4.9PB;E3.S 規格:(每個 SSD 122TB)x 每個 1U 伺服器 20 個 SSD,使用 36U 機架空間 = 每 U 2.45PB。