設計工具

輸入無效。不支援特殊字元。

AI

逐地區打造 AI:為何記憶體和儲存裝置將決定下一個十年 

Viral Gosalia | 2025 年 10 月

當我回顧我的職涯中最具影響力的時期——那些以創新和發展新業務為中心的時期——我發現個個都有一個共同的核心特徵:把握正在從根本上重塑行業的時代浪潮。正是這種創業驅動力和增長願景,讓我對美光這樣一家以發明、全球技術領先和本地社群影響為基礎的公司充滿熱忱。今天,最重要的變革是加速智慧時代的到來,而美光正是推動這一變革在全球實現實用化、高效化和在地化的催化劑。

1. AI 的長期趨勢如何重塑全球格局?

AI 運算需求每六個月翻一倍,推動了全球智慧在地化競賽——各國和各行各業正以前所未有的速度建設資料中心,旨在實現具備主權保障和規模效應的在地化 AI。

人工智慧正在推動改變現代生活各個方面的長期趨勢,從集中實驗室走向金融、醫療、工程和製造等領域的廣泛部署。這要求 AI 從訓練階段擴展至大規模推論階段。

這一全球性轉變有兩個關鍵需求:

  • 無處不在的推論技術:AI 工作負載必須更貼近資料生成源——無論是在雲端、本地資料中心或邊緣裝置。
  • 資料和 AI 主權:各個國家和地區正將資料和 AI 列為優先事項,以鞏固信任、增強韌性並推動經濟增長,相關決策正在全球加速推進區域性大型資料中心的建設

這一趨勢在主要區域部署中可見一斑:

  • 美國:大型多站點超大規模計畫,如星際之門計劃,將訓練中心與區域推論區相銜接,要求實現最高密度和功耗管理。
  • 歐洲:重點是透過綠色能源整合實現主權算力挪威星際之門等地標性站點和 Mistral 等支持本土 AI 公司的 GPU 叢集就是例證。
  • 中東地區:阿拉伯聯合大公國和沙烏地阿拉伯等國正在透過國家 AI 計畫快速擴展智慧城市物流和醫療算力,這就要求基礎設施在滿足資料駐留要求的同時最佳化每機架輸送量。
  • 亞太地區 (APAC):中國、印度、日本及台灣等亞太地區正加速構建 AI 基礎設施,以訓練和推論包括本地語言在內的龐大資料,助力各類應用改善數十億人的生活。

2. 美光如何釋放 AI 規模和效能的下一波浪潮?

AI 模型需要以最快速度存取和處理龐大的資料集。由於資料儲存於記憶體和儲存裝置中,資料流的速度和效率是導致昂貴的 GPU 叢集和 CPU 面臨資料飢渴的關鍵瓶頸。美光的領先技術和產品為解決記憶體牆問題提供了效能、容量和能源效率方面的解決方案。

這場以 AI 為主導的變革依賴美光的專業記憶體和儲存裝置產品組合:

效能與延遲:持續供能運算

記憶體和儲存裝置對於保持資料流向處理器(GPU、CPU、XPU)至關重要。
 

產品/技術AI 價值主張(速度、延遲)
HBM (HBM3E / HBM4 藍圖)HBM 是基於 GPU 的高效能運算 (HPC) 和 AI/伺服器解決方案的首選。美光 HBM3E 以超過 9.6Gb/s 的引腳速度提供超過 1.2TB/s 的業界領先的頻寬。美光正向核心客戶提供 HBM4 樣品,其效能突破 2TB/s,可無縫整合到次世代 AI 平台。
GDDR7以每引腳 32 Gb/s 的速度運行的 GDDR7 系統可實現超過 1.5 TB/s 的系統頻寬,比 GDDR6 系統提高 60%。針對文本轉圖像等生成式 AI 工作負載,美光 GDDR7 較 GDDR6 可縮短 20% 回應時間,提供更快速、更卓越的使用者體驗。
MRDIMM多重存取 DIMM 在主記憶體解決方案中提供最高頻寬和最低延遲。相較於 DDR5 RDIMM 資料速率,MRDIMM 的頻寬最多可提高 39%延遲最多可降低 40%,適用於對容量和頻寬敏感的工作負載,如 RAG。 
SOCAMM美光與 NVIDIA 合作進行技術創新,在資料中心平台採用 LPDRAM,提供無與倫比的每瓦效能。與 DDR5 系統(在搭載 PCIe 連接 Hopper GPU 的 x86 系統上)相比,美光的 LP 在搭載 NVLink 的 GH200 上的推論輸送量提高五倍,延遲降低約 80%!
Micron 9650 PCIe Gen6 SSD全球首款 PCIe® Gen6 資料中心 SSD。其效能達 PCIe Gen5 硬碟的兩倍,循序讀取速度高達 28 GB/s,隨機讀取效能達 5.5 MIOPS。此設計最大限度提升資料傳輸速度,滿足 GPU 高負載需求,最大限度減少空閒週期。
美光 7600 SSD為 AI 和要求嚴苛的資料中心工作負載提供同級最佳的低延遲和卓越的服務品質(QoS)。本身可為各種主流工作負載提供快速存取。 


技術創新:實現記憶體容量擴展

  • 1γ (1-gamma) DRAM 技術節點與前代 1β (1-beta) 節點相比,每晶圓位元密度提高 30% 以上。隨著 AI 等資料密集型工作負載持續增長,此項突破使美光能夠高效滿足市場需求。
  • 美光 G9 NAND(第九代 3D NAND)為新的儲存裝置創新奠定了基礎,實現了業界最佳的儲存密度Micron 6600 ION NVMe SSD 採用美光 G9 QLC NAND,在 E3.L 規格尺寸下實現高達 245TB 的業界領先容量,透過提供超過每 1U 3.9PB 的機架空間,徹底革新 AI 資料湖和超大規模儲存領域。
  • 美光在先進封裝領域的領先地位催生了 12 層堆疊 HBM3E,在與前代 8 層堆疊相同的物理佔位下,將容量大幅提升 50%,達到 36GB 立方體。這項突破使客戶能夠訓練和運行更大規模的 AI 模型,無需 CPU 卸載,從而更快獲得洞見。
  • CXL 附加記憶體(如美光 CZ122 模組)使伺服器 OEM 能夠為資料密集型應用擴展記憶體容量和頻寬,有效克服「記憶體牆」問題。
  • 與 3DSRDIMM 相比,美光基於 32Gb DDR5 晶粒的單片式大容量 DIMM 可實現 128GB RDIMM 容量,延遲降低 16%,支持提高輸送量和容量以滿足 AI 和通用工作負載的需求。

永續性和低能耗

以永續方式實現智慧加速至關重要。美光將能源效率直接融入技術和產品中:

  • 與 1-beta DDR5 相比,1-gamma DDR5 的速度更快(9200 MT/s),同時功耗最多降低 20% 
  • HBM3E 具有卓越的功耗效率,功耗比市場上的競爭對手低 30%
  • LP-SOCAMM(基於 LPDDR5X 的模組化規格尺寸)是專為 AI 資料中心設計的旗艦記憶體解決方案,可提高功耗效率並顯著提升效能。針對 Multichase 和 POT3D 工作負載,LPDDR5X 記憶體的功耗較 DDR5 記憶體最多降低 77%。
  • Micron 9650Micron 6600 ION 等 SSD 解決方案旨在實現卓越的能源效率和更低的碳排放,幫助降低營運支出 (opex)。Micron 9650 甚至提供液體冷卻選項,以提高散熱效率。

更高的記憶體效能、更低的延遲和更大的容量,使客戶能夠更快地訓練大型 AI 模型,並在各行業提供響應更快的使用者體驗。同時,美光的能源效率解決方案還能幫助企業降低營運成本,最大限度地減少對環境的影響。這些進步不僅重塑了業務成果,更改變了人們的生活方式以及與 AI 的互動方式。

3. 美光如何透過全球協作加速 AI 創新?

美光透過與全球生態系統夥伴、超大規模企業、OEM 和新興的新型雲端服務商合作,發揮策略賦能者的作用:

  • 賦能者:美光與 Intel(如為 Xeon 6 處理器開發 MRDIMM)、AMD(如將 HBM3E 整合到 Instinct GPU 以及 DDR5 合作)以及 NVIDIA(美光與 NVIDIA 合作開發 SOCAMM 以支持 NVIDIA GB300 Grace™ Blackwell Superchip)等合作夥伴密切合作。此外,Micron HBM3E 12H 36GB 已整合到 NVIDIA HGX™ B300 NVL16 和 GB300 NVL72 平台。
  • 超大規模廠商、OEM 和新型雲端服務商:美光攜手頂級超大規模企業、OEM 和更廣泛的生態系統,共同推動全球 AI 革命。美光還與 CoreWeave 等 AI 雲端服務提供商合作,利用低延遲 Micron 7600 SSD 等解決方案,幫助客戶實現高資料輸送量的向外擴充。
  • 在地化支援:美光致力於全球製造區域賦能。我們的策略是透過提供能夠即時解決問題的區域客戶開發團隊,為客戶(從大型超大規模企業到本地營運商)提供支援,確保系統針對當地條件和經濟環境進行最佳化。

有目標的創業精神

我對把握轉折點並將其轉化為共融進步充滿熱情。AI 驅動的轉型是本十年最重要的機遇,本身需要美光提供的基礎記憶體和儲存裝置技術作為支撐。

美光提供必要的效能、容量和能源效率,助力全球每個社群和創新者釋放 AI 的潛力。隨著全球 AI 部署的激增——從美國的大型多站點計畫到歐洲湧現的主權叢集,再到中東亞太市場的高密度建設——美光始終是您值得信賴的記憶體和儲存裝置創新合作夥伴。美光的記憶體和儲存裝置將為加速智慧提供動力,並逐地區改變人們的生活方式

CNBU 策略行銷處長

Viral Gosalia

Viral Gosalia 是美光運算與網路業務部門的策略行銷處長。他領導的團隊與運算合作夥伴合作,實現美光記憶體產品組合的跨平台應用,並推動 CNBU 的對外行銷和策略規劃計畫。

Viral 於 2019 年加入美光,在印度和美國的銷售和業務部門擔任過各種職務。他擁有孟買大學電子和電信學士學位以及聖荷西州立大學電機工程碩士學位。