AI

為下個 AI 時代擴充 KV 快取記憶體

Karthik Ganesan

閃爍的紫色和藍色電路代表人工智慧 (AI)

以下是您可能會感到驚訝的事情:影響最深遠的 當今 AI 的瓶頸與 GPU 的速度無關。

每次您要求 AI 總結一份長文件時,調試一項複雜的 代碼或協助您處理多步驟的問題, 在幕後發生而許多人很少去想的這些事情。AI 必須記得您剛才問過什麼,以及它如何回應。它 也必須記住您在此之前所問的內容,以及如何 回應,一直回到對話的開始。並非 以人類記憶事物的方式,而是具備百分之百的重現準確度, 逐題、逐條回答、每個細節,皆能精準復現。

儲存佔用大量空間的所有內容。

這種對「之前所言」的儲存,有一個專門的名稱–KV 快取。而且它悄悄地成為最迫切的 跨 AI 的基礎架構挑戰。

AI 未曾預料到的記憶問題

想想 AI 模型目前處理的資訊量 與幾年前相比 在短短七年內, AI 模型可以擁有的背景幾乎增加了 20,000 倍 (platform.claude.com、understandingai.org)。 模型擁有的背景越多,所需的記憶體就越多。不適用於 模型本身,還有儲存您的對話的記憶體。數 學正在變差,而非好轉。

正在加劇緊張局勢的三股力量

問題是由於三種不同的趨勢同時碰撞, 各自獨立推動 KV 快取需求。

1. 內容視窗持續增長

更長的上下文視窗所帶來的生產力提升是切實 且顯著的。開發人員想要將整個代碼庫提供給 AI 助理。 律師想要一次分析數千份文件。使用者 總是追求更多,因為更多背景意味著更好的答案。

2. 連鎖思考推理正在增加對資源的需求

全新類別的 AI 系統,通常稱為推理模型,不只是 產生快速回應。像 OpenAI 的 o3 或 DeepSeek-R1 這類系統, 會以循序漸進的方式處理問題, 在得出最終答案前,先生成一系列中間推理步驟。在內部,推理模型可以 產生的推理詞元數量遠多於最終回應中呈現的數量, 這會顯著增加推理過程中的 KV 快取 佔用。

3. AI 正成為智慧體

這或許是所有轉變中最大的一次。當 AI 聊天機器人 對對話的記憶通常只持續數秒或數分鐘;而 AI 智能體 (能夠代表您使用工具、呼叫 API 並管理長期工作流程的系統) 則可能需要在跨越多個會話的過程中,將上下文資訊保留數小時、數天 甚至更長時間。AI 智慧體將 KV 快取從 短期「草稿區」轉變為更接近持久性儲存 系統的存在。曾經僅屬於幕後的實現細節, 如今已演變為一個核心的系統級問題。

軟體無法修正此問題嗎?

這是個公平性的問題。坦誠地說,軟體確實大有助益, 但僅靠它無法解決這個問題。研究人員和 工程師已開發出卓越的技術工具包,以減少 KV 快取大小,而這些確實是能夠帶來顯著成效、實現關鍵突破的實質 改善。

但他們並沒有將其打破,而這背後有著一個長達160年的原因。

1865 年,英國經濟學家 William Stanley Jevons 觀察到他那個時代的蒸汽機存在著一種反直覺的現象: 隨著蒸汽機變得更加節能,英國的 煤炭消耗量並未因此減少。消耗量顯著增加。 效率使蒸汽功耗更便宜、更容易使用,進而擴展 其用途遠遠超過原本的效率收益。他 稱為反彈效果。今天,我們稱之為 傑文斯(Jevons)悖論。

AI 基礎架構也在發揮同樣的動力。每當 工程師找到減少 KV 快取佔用的方法時,用戶和營運方 總是會立即將節省出的空間投入到更大的上下文視窗、更多的 並發用戶,或是更複雜的推理任務中。需求會擴展 直到填滿可用容量,甚至會超出這個極限。效率滋生胃口。 目前尚未有需求降低的訊號。

建構記憶體層次結構的理由

那麼,解決方案是什麼? 這正是電腦架構師幾十年來一直 用來平衡成本、容量與速度之間差距的方法:一個 分層架構。

運算系統 (如筆記型電腦) 已經做到這一點。最經常 需要的資料儲存在快速、昂貴的快取中。稍微不 緊急得資料存在於 RAM 中。其他一切都在您的 SSD 上。系統 根據資料被使用的頻率和緊迫程度,來管理資料的儲存 位置。

AI 推理系統也需要以類似的方式運作,只不過 規模要大得多。

關鍵見解是,目標並非選擇一個層級。其目的在於 對這一切進行統籌協調,根據存取模式和工作負載需求, 智慧地調度資料。

結果發現,SSD 層級所具備的能力遠超過許多人的 預期。

值得瞭解的資料中心實驗

我們對此進行測試。美光的資料中心工作負載量工程 團隊使用 Micron 9550 PRO SSD 進行了廣泛的驗證測試 其帶有主流開放原始碼 AI 推理框架。結果具有 啟示意義。

增加高效能 SSD 儲存裝置可將 KV 快取延伸到 GPU 記憶體之外,進而大幅擴充長內容推論容量,進而改善 GPU 使用率並降低基礎架構成本。

這是工作中分層記憶體的經濟效益。您不會取代 GPU 的內建記憶體。您為其提供了規模更大、成本更低 的後盾,使其能夠不再拒接請求,轉而開始 服務他們這些請求。

推論就是業務

在這一切背後,還有一個更重要的層面; 我認爲這一點在圍繞 AI 基礎設施的討論中往往被忽略了。

在 AI 產業的首個階段,業界理所當然地將精力集中 於訓練那些支撐起當今各類 AI 應用的大規模模型。但訓練是 一次性成本。推理(即運行這些模型,每天數百萬次回答真實用戶及 AI 智慧體提出的問題)是 AI 持續發展的經濟引擎。這就是不斷創造價值的地方。

記憶體和儲存裝置不僅支援推論。它們 塑造推論經濟學。能夠同時服務多少用戶、 支援多長的上下文、單次查詢的成本 因素,以及 AI 應用能否在實現規模化的同時保持獲利。所有這一切 流經記憶體和儲存裝置階層。

那些能夠妥善處理這問題的公司,將構建出 更快速、能力更強、效率更高的 AI 系統;相比之下, 那些將記憶體視為次要考慮因素的公司,其構建的系統則遜色不少。那些不這麼做的,會發現自己受限於 記憶體的存放位置。

前路展望

許多人正處於瞭解 AI 系統需要從記憶體和儲存裝置取得什麼的早期階段。內容視窗將持續增長。智慧體將持續變得更自主、更長的壽命。KV 快取挑戰在變得更容易之前會變得更困難。

好消息是,前進的架構路徑越來越清楚。經過精心設計的分層記憶體階層,針對速度進行最佳化,反應時間至關重要,針對規模進行最佳化,容量至關重要,可將難以克服的瓶頸轉變為已解決的工程問題。

用於建立此階層的記憶體和儲存裝置技術已存在於今日。

如果您想深入瞭解此處討論的所有技術架構、資料和工程細節,請參閱:KV 快取挑戰:駕馭 AI 推論記憶體的新領域。

瓶頸是真實的。現在有解決方案出現了。

儲存解決方案架構技術研究員

Ramkarthik Ganesan

Ramkarthik Ganesan 是美光科技的技術研究員,領導核心資料中心業務部門的儲存解決方案架構。他是一位經驗豐富的技術專家,在儲存系統、效能最佳化和系統設計方面擁有深厚的專業知識。在美光,他專注於推動 AI、雲端和企業工作負載的新一代儲存裝置創新。

相關部落格

Related Blogs