Micron 技術詞彙表

KV 快取

帶有紫色和粉紅色光線的無品牌矽片圖案

內容視窗的詞元數量已從數千個增加到數百萬個, 給記憶體系統帶來前所未有的壓力,使其難以跟上模型 複雜度的成長。隨著大型 語言模式 (LLM) 在資料中心與雲端環境中實現規模化部署與應用, 產生每項回應所帶來的運算成本, 已成為 全球工程師及基礎結構團隊所面臨的嚴峻挑戰。

什麼是 KV 快取?

KV 快取 (鍵值快取) 是一種在基於 Transformer 模型的 大型 語言模型中使用的記憶體最佳化技術;其透過儲存並重複使用 先前計算出的注意力值以加速推理過程。在自回歸文字產生過程中, 每個新產生的詞元都依賴其先前的標記; 因此隨著序列長度的增加, 高效的注意力處理變得至關重要。

此技術對於大規模部署大語言模型 (LLM) 至關重要,因為其 有助於降低推理延遲並提高吞吐量。

KV 快取如何運作?

KV 快取的運作方式,就像在閱讀長篇書籍時做筆記一樣。在回答有關故事的問題時, 你不必每次都重讀之前的所有頁面; 相反,你可以將重要細節放在手邊, 以便在出現新問題時能迅速加以利用。在大語言模型 (LLM) 中,KV 快取發揮類似的作用: 在模型產生每一個新詞元的過程中, 它能確保實用的語境脈絡資訊始終可用。

KV 快取在 Transformer 架構的自注意力機制中發揮功能, 透過儲存中間表徵,使模型 能夠在後續的生成步驟中重複利用這些資訊。在 AI 推論過程中,模型處理輸入詞元並為每個詞元產生三個 向量:查詢向量、鍵向量和值向量。注意權重為 透過將查詢向量與所有儲存的鍵向量進行比較來計算,而值向量則用於產生最終產出。 而值向量則用於產生最終產出。

快取程序遵循以下步驟:

  • 初始處理:此模型處理 輸入提示,並計算每個詞元的鍵值張量, 並將其儲存在 KV 快取中。
  • 增量生成:對於每個新詞元,僅 查詢向量是新計算的,而先前快取的詞元和 值會直接擷取。
  • 注意力計算:注意力機制 將新查詢與所有快取的鍵值對結合起來產生產出, 而無需重新處理先前的詞元。
  • 快取成長:每個產生的詞元 都會將自己的鍵值對加入快取中,逐步擴展緩存 直到生成完成。
  • 記憶體管理:系統會在 並發請求和會話之間動態分配和釋放快取記憶體, 以最佳化利用率。

這種架構使得 LLM 能夠擴展到非常長的語境脈絡視窗, 而計算成本不會隨著序列 長度成比例增長。

KV 快取與預填和解碼有何關係?

KV 快取是在預填充階段創建的, 並在 LLM 推理的解碼階段重複使用。在預填過程中, 模型並行處理完整的輸入提示,並將鍵和值張量寫入記憶體。 在解碼過程中,模型一次產生一個新的詞元,讀取 現有的 KV 快取,因此其只需要計算最新詞元的注意力, 而不是重新計算完整的語境脈絡。這種區別 很重要,因為預填充通常需要運算,而解碼 通常受限於記憶體頻寬和快取的大小。

KV 快取如何與標準推論比較?

在無 KV 快取的標準推理中,模型每次產生新標記時都會重新計算 整個語境脈絡的注意力。這 重複性的工作會提高延遲和運算成本, 產生的回應會延長。有了 KV 快取,模型會儲存 先前計算的鍵和值,然後在每次生成步驟中重複使用它們, 因此只有最新的標記需要重新 計算注意力。

KV 快取的主要優點是詞元產生速度更快,而且更高 吞吐量。主要的取捨是記憶體:快取隨著更多 新增詞元、要求和模型層,因此推論系統需要 足夠的記憶體容量和頻寬,可以有效地儲存和存取 快取的張量。

如何最佳化 KV 快取?

KV 快取最佳化減少了儲存鍵和值張量所需的記憶體, 同時保持了推理速度和模型產出品質。 由於 KV 快取會隨著語境脈絡長度、批次大小和模型深度而成長, 因此最佳化通常會結合記憶體管理、壓縮 和工作負載感知服務策略,而並非仰賴單一 技術。

  • 使用分頁注意力機制:將 KV 快取分配到 較小的記憶體區塊中,而不是一次性分配一大塊連續內存, 以減少碎片,提高 可變長度請求的加速器利用率。
  • 套用快取量化:將快取的鍵和值 以較低精度格式 (例如 INT8 或 INT4) 存放,以減少記憶體佔用, 同時保持可接受的產出品質。
  • 剔除低價值詞元:當記憶體受限時, 可以使用滑動視窗或基於注意力的重要性評分等技術, 以刪除較舊或不太相關的快取條目。
  • 重複共享前綴:快取重複或相似請求中的常用提示 前綴,以便系統避免為每個使用者工作階段 重新計算相同的語境脈絡。
  • 分發或卸載快取儲存裝置:當長時間語境脈絡工作負載超過單一裝置的容量時, 將 KV 快取分佈到多個加速器、 主機記憶體或儲存層。

什麼是 KV 快取最佳化的優缺點?

KV 快取最佳化需要平衡記憶體節省、延遲、 產量和產出品質。更積極的壓縮或驅逐 可以減少記憶體使用量,並支援較長的語境脈絡或更大的批次作業, 但是,如果移除重要的詞元,也可能降低準確性,或者 代表太少的精準度。為即時聊天而設計的系統 可能會優先考慮低延遲,而離線摘要或文件 分析工作負載可能會接受更高的延遲,以換取更長的 語境脈絡視窗和更低的服務成本。

KV 快取的歷史 是怎麼樣的?

KV 快取直接源自於 2017 年具有里程碑意義的論文《你只需要注意力》 (Attention Is All You Need) 中引入的注意力機制, 該論文確立了轉換架構作為現代語言 建模的基礎。早期的推理系統在每個生成步驟中都會根據完整的語境脈絡重新計算注意力, 這對於短序列來說是可行的, 但隨著模型和語境脈絡視窗的快速擴展, 這成為了一個嚴重的瓶頸。

KV 快取演進的關鍵里程碑包括:

  • 2017 年: 轉換架構引入了 多頭自注意力機制,建立了 KV 快取稍後將最佳化的運算模式。
  • 2020 年至 2022 年:大規模語言模型 部署會暴露完全重新計算的記憶體和延遲成本, 加速快取策略的產業研究。
  • 2022 年至 2023 年:生產推理框架 引入了分頁注意力機制,將 KV 快取記憶體視為虛擬頁面, 以減少碎片化並改善並發 請求的使用率。
  • 2024 年至 2025 年:語境脈絡視窗從 數千個擴展到數百萬個詞元,推動了 KV 壓縮、量化和分散式快取的快速創新,以應對不斷增長的 記憶體需求。

KV 快取的主要類型有哪些?

KV 快取最佳化策略分為幾個類別,每個 旨在解決記憶體容量的不同限制、 推論速度和產出準確度。工程師會根據 工作負載特性、硬體配置 和特定部署環境可接受的精度權衡來選擇方法。

1. 完整 KV 快取

全 KV 快取是一種 KV 快取策略,其儲存推理過程中產生的每個鍵值 張量,而不進行壓縮或驅逐。這 這種方法能夠提供最高的精度,並作為 所有最佳化技術進行基準測試的標準。完整的 KV 快取最 最適合記憶體容量 不受限制的中短語境脈絡長度。

2. 基於驅逐的鍵值快取

基於驅逐的 KV 快取是一種 KV 快取策略, 它透過選擇性地丟棄與當前生成步驟不太相關的 鍵值對來減少記憶體使用。滑動視窗注意力等方法 只保留最近的標記,而重要性評分技術則 識別並清除低關注度的條目。這些方法可減少 記憶體佔用,但代價是需要遠端語境脈絡檢索的任務 的準確性可能會下降。

3. 量化 KV 快取

量化 KV 快取是一種 KV 快取策略,它透過將儲存的鍵 和值張量的數值精度從全 精確度 (FP16 或 BF16) 降低到較低位元格式 (如 INT8 或 INT4) 來壓縮這些張量。這 大幅壓縮記憶體消耗量,同時保留大部分 模型的產出品質,使量化的 KV 快取成為廣泛採用的 高吞吐量推論部署的技術。

4. 分散式 KV 快取

分散式 KV 快取是一種 KV 快取策略,它在多個加速器或節點之間共享快取存放區, 使推理能力能夠擴展到 單一裝置的記憶體容量之外。對於 AI 資料中心環境中的超長語境脈絡工作負載而言, 這種方法至關重要,因為模型每次請求都要處理數 十萬甚至數百萬個詞元。

如何使用 KV 快取?

KV 快取部署在各種生產推理環境中, 在這些環境中,延遲和吞吐量直接影響使用者 體驗和營運成本。應用案例涵蓋從 企業軟體到科學研究等各行業,凡是語言模型能夠在擴展語境脈絡中產生回應的地方, 都能找到對應的應用案例。

  • 對話式 AI:多轉聊天機器人和 虛擬助手快取先前的對話,讓每個回應都保留 完整的對話歷史記錄,無需重新處理先前的對話回合。
  • 代碼產生:能夠跨大型文件產生 或完成程式碼的開發者工具會快取完整的文件語境脈絡, 實現一致且語境脈絡感知的建議,並降低 延遲。
  • 文件處理:企業平台 分析長期合約、研究論文和報告使用 KV 快取來 高效處理擴展輸入序列。
  • 檢索增強型生成:將檢索到的文件注入模型語境脈絡的系統 受益於鍵值快取, 以管理檢索到的段落的總長度和用戶 查詢。
  • 推理模型:能夠產生擴展的思維鏈產出的模型 依賴 KV 快取來保持 數千個產生的推理標記之間的一致性。
  • 高吞吐量服務:推論伺服器 處理來自許多使用者的並發請求,共享和分頁 KV 快取 分配以充分利用加速器並降低每個詞元 成本。

為什麼 KV 快取是否會對記憶體基礎結構造成高度需求?

KV 快取對記憶體基礎結構有很高的要求,因為它的 記憶體需求與語境脈絡長度、批次大小和 模型層數直接相關。每個新詞元都會加入鍵和值張量, 這些張量必須在整個生成過程中進行儲存、檢索和更新, 這使得 KV 快取成為 生產 LLM 部署中加速器記憶體的最大消耗者之一。

這些需求在解碼階段尤其重要, 當模型反覆從 KV 快取中讀取,一次產生 一個詞元。隨著語境脈絡視窗的擴展,記憶體容量會影響 系統能夠支援的語境脈絡量,而記憶體頻寬會影響 存取快取鍵和值的速度。這會影響延遲、 吞吐量、批次大小、並行性和整體推論成本。

對於 Micron 來說,KV 快取强調了高頻寬、 高容量記憶體對擴展 AI 基礎結構的作用。Micron 的

記憶體解決方案 旨在滿足現代 AI 工作負載的吞吐量和容量需求, 協助資料中心系統處理更長的語境脈絡和更多的 並行推論要求。

常見問答

KV 快取常見問題

KV 快取和模型權重是推理系統中不同的組成部分, 其服務於不同的目的。模型權重為固定參數 在推理開始前加載到記憶體中一次,並在 所有請求中保持不變。相比之下,KV 快取是動態產生的, 並且隨著每次推理請求而增長,儲存特定於 當前輸入序列的中間注意力張量。

在長語境脈絡 LLM 中,KV 快取會成為瓶頸,因為每個 額外的標記都會增加鍵和值張量,其必須在 生成過程中儲存和重複存取。當內容視窗展開時, 快取會佔用大量可用的加速器內存, 並增加解碼期間的頻寬壓力。除非服務系統採用量化、分頁、驅逐 或分散式快取管理等技術, 否則這可能會限制批次大小、 降低並發性並增加推理成本。

KV 快取分配失敗是指推理系統無法 預留足夠的記憶體來儲存 請求所需的鍵和值張量。當語境脈絡長度、批次大小、並發性或 模型大小超過可用加速器記憶體時,就會發生此情況。系統可透過 使用分頁注意力、 量化、快取驅逐、前綴重複使用、卸載或分散式 KV 快取管理等技術來減少分配失敗。