- US - English
- China - 简体中文
- India - English
- Japan - 日本語
- Malaysia - English
- Singapore - English
- Taiwan – 繁體中文
輸入無效。不支援特殊字元。
擁抱 AI：我在美光從運算領域轉向記憶體技術的旅程
觀點的轉變
我第一次接觸人工智慧（AI）時，它的潛力深深吸引了我，但同時我也因為自己理解得太少，而感到不知所措。我最初的探索著重於運算加速器，包括 CPU、GPU 和 NPU，以及這些技術在實現智慧型手機等邊緣裝置上的 AI 應用中，所扮演的角色。然而，加入美光之後，我的觀點出現了關鍵性的轉變。我開始意識到，記憶體與儲存裝置不僅只是配角，而是推動 AI 創新的關鍵推手。這樣的體悟開啟了一段更深層的旅程，也就是不只將 AI 視為一種技術，更是一種產品研發與轉型的思考方式。
美光如何推動 AI 的應用發展
隨著 AI 模型日益複雜與龐大，參數的數量動輒達到數十億甚至數兆，對於更快速、更高效的資料存取需求也隨之遽增。這也讓人們重新注意到運算領域中一項長久以來的挑戰，即「記憶體牆」問題。這是指處理器速度與記憶體頻寬／延遲之間日益擴大的差距，而這種落差可能嚴重限制 AI 的效能，尤其是在大型模型的訓練與推論階段。
美光深知，唯有突破這項瓶頸，才能讓 AI 持續擴展應用規模。因此，我們不再將記憶體與儲存裝置視為單純的輔助元件，而是推動 AI 創新的關鍵動力。我們的產品組合正是為了正面迎戰這些挑戰而設計：
- 近記憶體：例如，HBM 和 GDDR 這類的解決方案可與 CPU 和 GPU 高度整合，提供極高速的資料與模型參數存取，進而降低延遲、提升吞吐量。
- 主記憶體：高容量、低延遲的選項，如標準化 DIMM、MRDIMM 以及低功耗 DRAM，在提供卓越效能的同時兼具能源效率，有助於滿足現代 AI 工作負載量的高度需求。
- 擴充記憶體：Compute Express Link（CXL）這類的技術可實現可擴充記憶體容量，因應資料密集型工作負載量，同時解決記憶體瓶頸並降低總體擁有成本。
- 儲存解決方案：我們的儲存裝置產品，從高效能的 NVMe SSD 到適用於資料湖的實惠選項，皆針對 AI 高要求的 I/O 需求進行最佳化，確保資料隨時隨地可供存取。
透過讓創新與 AI 不斷演進的需求保持一致，美光正協助突破記憶體牆限制，並在整個 AI 領域開啟全新的效能與效率層次。
若想更深入瞭解美光的產品組合與未來創新方向，我誠摯推薦閱讀這篇刊登於《The Register》的 Praveen Vaidyanathan 精闢專訪。
我們的創新正在塑造 AI 的未來
美光在 AI 支援技術領域的領導地位，奠基於其頂尖的創新技術：
- 1γ（1-gamma）DRAM：與前一代產品相較之下，每個晶圓的位元容量提高 30%、節省高達 20% 的功耗，在速度上也有 15% 的進步。（深入瞭解：美光的 1-gamma 節點技術）
- G9 NAND：提供業界最快的 NAND I/O，達每秒 3.6 GB，讀取速度提升高達 99%，寫入效能提升達 88%，非常適合以資料為核心的 AI 工作負載量。（深入瞭解：G9 NAND）
這些進步不僅是技術上的里程碑，也是打造更快速、更有效率且更具可擴充性的 AI 系統基礎。
AI 中的關鍵指標：記憶體與儲存裝置如何左右其表現
AI 最引人入勝的一點，是無論在資料中心、用戶端裝置，或是行動系統上，都有一套共通的效能指標橫跨各種平台。儘管應用場景、架構與軟體框架各不相同，真正驅動 AI 的核心要素，即運算、記憶體與儲存裝置，在系統層級的關鍵績效指標（KPI）上，仍遵循相似的評估標準。
在 AI 推論方面，尤其是大型語言模型（LLM）的關鍵指標包括：
- 首個詞元輸出時間（TTFT)：用來衡量系統開始產生輸出的速度。
- 每秒詞元數：用來衡量吞吐量的指標。
- 每瓦每秒詞元數：評估功耗效率的關鍵指標。
這些指標是評估效能與能源效率的核心，而記憶體與儲存裝置子系統的能力，則對其具有顯著影響。
儲存裝置在 AI 指標中扮演的角色
從系統的觀點來看，儲存裝置效能通常會用以下幾個面向來衡量：
- 每秒讀寫次數（IOPS）：與資料中心與用戶端 SSD 環境尤其密切相關。
- 讀寫速度：對於採用通用快閃記憶體儲存（UFS）的行動平台而言相當關鍵。
其他因素，例如存取模式、區塊大小以及邏輯區塊位址（LBA）大小，也會進一步增加整體的複雜性。然而，這些參數對大型語言模型（LLM）推論效能所造成的整體影響，在不同平台之間仍具有一致性。
美光在儲存裝置技術上的創新旨在滿足各領域的需求，確保儲存裝置不再是效能的瓶頸，而是其推動的關鍵力量。
記憶體日益擴大的角色
在記憶體方面，我們正見證一場重大的轉變。像 LPDDR 這類傳統上用於行動與用戶端裝置的技術，如今也逐步導入資料中心環境。這項轉型的推動力，來自對低功耗且高效能記憶體的需求，以支援高強度的 AI 工作負載量。（深入瞭解：每一瓦都很重要——低功耗記憶體如何改變資料中心）
關鍵的記憶體組態參數，如 Rank 數量、通道數、I/O 寬度與容量密度，在不同應用領域之間皆有所差異；但目標始終如一：在維持能源效率的同時，提供穩定的效能與最佳的速度等級。
美光的記憶體解決方案，包括 DDR、LPDDR、GDDR 與 HBM，皆針對完整的 AI 推論流程量身打造，涵蓋從嵌入、預填充、解碼到後處理等階段（深入瞭解：百萬詞元語境處理——優點、挑戰與現實）。如此可確保記憶體能與運算與儲存裝置順暢配合，避免產生瓶頸，並發揮最大吞吐量。
從本質上來說，無論是在超大規模資料中心部署 AI，或是在行動裝置上運行，所依據的核心效能指標都是相同的；而美光的記憶體與儲存裝置技術正是為了使這些指標最佳化而量身打造，協助實現更快速、更高效、且具可擴充性的 AI 系統。
值得深思：深入探討 AI 效能指標
若您有興趣深入瞭解 AI 效能在各平台的衡量結果，以及記憶體與儲存裝置如何在其中發揮關鍵作用，我強烈推薦以下幾篇文章：
NVIDIA NIM LLMs 效能評定 ——全面解析資料中心環境中的推論指標。
大型語言模型在行動平台上的效能評定 ——深入評估 LLM 在行動裝置上的表現。
推論 =IOPS： 為何 AI 的下一個關鍵戰場在於儲存裝置效能 ——美光觀點解析儲存效能，尤其是 IOPS，如何成為 AI 工作負載量的核心。
這些資源皆能為想深入瞭解 AI 系統效能演進趨勢的每個人，提供豐富的背景脈絡與技術深度。
美光的 AI：讓 AI 得以打造 AI
美光不只是推動 AI 的發展，我們也運用 AI 打造更出色的產品。從智慧製造到良率分析，AI 已深度融入我們的各項營運流程中。我們將其應用於：
- 影像與聲音分析
- 製程自動化
- 工程流程
- 業務營運
在內部導入 AI 提升了美光的品質與效率，並加速了創新發展。
來自印度美光的故事：AI 實際應用現場
美光印度的技術卓越中心（CoTE）隸屬於核心資料中心業務部門（CDBU），在這裡，我們深刻體會到 AI 整合所帶來的強大力量。該中心幾乎將所有主要職能整合於同一地點，並採取垂直整合架構，在將新技術轉化為商業產品的過程中，發揮關鍵作用。從需求定義到顧客支援，AI 協助我們簡化流程、提升合作效率並加速創新，同時不影響品質與機密性。
最後總結：作為 AI 核心的記憶體
我從運算領域轉向記憶體技術的這段旅程，對我有深遠的影響。在美光，我逐漸體會到，記憶體與儲存裝置不僅是 AI 的推動力量，更是支撐 AI 發展的根本基礎。隨著 AI 持續演進，美光對創新的承諾讓我們不只是跟上腳步，而是積極塑造未來。
