隨著大型語言模型 (LLM) 日益強大且智慧體 系統承擔日益複雜的任務, 模型在推論時所接收到的資訊品質,已成為決定產出準確度的關鍵因素。 開發人員和企業發現,模型效能 與其說是取決於模型大小, 不如說是取決於資訊結構化、篩選和即時傳遞給模型的精確度 。語境脈絡工程已成為規範 此程序的學科。
什麼是語境脈絡工程?
語境脈絡工程是指有目的地設計、 建構和最佳化提供給大型語言模型的資訊, 以產生更準確、更相關、更可靠的產出。它 包含兩個密切相關的技術:提示詞工程和 檢索增強生成 (RAG)。提示詞工程是設計 LLM 提示以產生更好產出的過程, 而 RAG 則專注於將文件或資料庫中的資訊 新增至模型的語境脈絡 視窗。語境脈絡工程將這些元素結合到 更廣泛的架構。語境脈絡工程在 智慧體 AI 系統或多步驟推理任務中尤其重要, 因為這些情況依賴於模型在 返回產出之前多次讀取和更新其語境脈絡。根據 Gartner 的說法,語境脈絡工程 被定義為「設計和建構相關資料、工作流程和 環境,以便 AI 系統能夠理解意圖、做出更好的決策 並提供與企業情境相關的結果,而無需依賴 人工提示詞」。
語境脈絡工程如何 運作?
在現代機器學習 (ML) 系統中,語境脈絡是指 模型在推理時所看到的一切。語境脈絡視窗可視為 模型的短期記憶,LLM 沒有長期記憶體;其 僅根據推理時 可存取的語境脈絡視窗產生回應。因此,語境脈絡視窗的品質和結構 直接影響模型的推理、工具使用和產出。 產出。語境脈絡工程的實際工作可歸納為四個核心 操作:
- 寫入:將視窗之外的資訊留存於 記憶體存放區、日誌紀錄檔與暫存區中,免去每輪對話皆需爭奪 模型注意力的負擔。
- 挑選:透過向量檢索、記憶體搜尋, 以及依據相關性與時效性進行篩選, 僅將相關的片段提取至目前的運算叫用中。
- 壓縮:使用主題摘要和語境脈絡卡片總結、 精簡或捨棄過時的內容,使視窗保持 高訊號品質。
- 隔離:為子任務或子代理配置各自的語境脈絡邊界, 避免干擾資訊與矛盾狀態在不同任務間 流竄。語境脈絡工程程序的核心步驟 如下:
- 語境脈絡選擇:透過篩選掉不相關或冗餘的資訊, 並重新排序或縮小語境脈絡視窗, 選擇要包含的資訊,以更好地適應當前任務。此步驟 還包括防止語境脈絡中毒,即防止不準確或惡意 資訊進入語境脈絡視窗。
- 語境脈絡結構:使用 Markdown 或 JSON 等資料格式 來組織完整語境脈絡視窗中的所有資訊, 以定義指令並將 LLM 指令與資料分開。
- 即時設計與工程:說明指令的表述方式、 指令中包含的限制和規則 以及任何產出格式要求。
- 語境脈絡壓縮:利用摘要和去重等技術, 將更多實用的資訊塞進有限的標記空間, 以確保 LLM 的記憶體只包含相關 資訊。
- 語境脈絡排序:正確排列語境脈絡; 最相關的語境脈絡應該顯示在最上方, 而更深層的歷史資訊或不太重要的資訊應該顯示在 視窗的後面。
- 工具和記憶體整合:管理工具 產出如何插入語境脈絡以及 LLM 如何決定何時 需要叫用工具。
語境脈絡工程的歷史是什麼?
隨著 AI 系統變得越來越複雜,開發人員需要管理的不僅是給模型的指令,語境脈絡工程也從提示詞工程演變而來。隨著時間的進展,重點從設計單一提示擴展到設計更廣泛的資訊、工具和系統,以協助 AI 產生實用的回應。
2020–2021 年:隨著 GPT-3 等大型語言模型 (LLM) 的出現,提示詞工程也應運而生,開發人員透過試驗指令、範例和措辭來改善模型反應。
2022–2023 年:AI 應用情境變得越來越複雜,融合了檢索增強生成 (RAG)、外部資料來源和更長的對話歷史等技術。
2024 年:該產業開始將重點從單一提示轉移到管理提供給 AI 模型的更廣泛的語境脈絡,包括資料、記憶體、指令和工具。
2025 年:隨著開發人員強調建構能夠在正確的時間動態地為模型提供正確資訊的系統,語境脈絡工程這個術語得到了更廣泛的認可。
2026 年:隨著各組織建構依賴結構化語境脈絡、檢索、記憶體和工具存取來完成更複雜任務的 AI 代理和企業 AI 應用程序,語境脈絡工程也在不斷成熟。
關鍵 語境脈絡工程的類型是什麽?
情境工程涵蓋了幾個不同的技術 學科,共同管理圍繞 語言模型的資訊環境。每種類型都針對語境脈絡管道的不同層面, 從資料的檢索方式到資料的處理和 維護方式。
- 語境脈絡檢索:從外部來源選擇和 提取相關資訊,並將其納入 模型的語境脈絡中,使其不完全依賴內部訓練資料。它 可以基於關鍵字匹配、語義相似性或將 兩者結合起來的混合方法。
- 產生語境脈絡:將資訊建構 或轉換為更易於模型解釋和 操作的形式的過程,包括總結長篇文件、 提取關鍵事實以及將資料組織成結構化 格式。
- 語境脈絡處理:在將原始輸入、 檢索到的資料和中間資訊傳遞給語言模型之前, 將其轉換為清晰、有條理且可用的形式的一系列步驟 。步驟包括資料清洗和標準化、分塊和 分割、排序和篩選以及轉換和 豐富。
- 語境脈絡管理:持續 持續控制、組織和維護模型語境脈絡中包含的資訊, 使其在交互作用的過程中以及隨著時間保持有效, 確保在需要時提供正確的資訊, 同時刪除或最小化不必要或過時的資訊。
- 提示詞工程:語境脈絡工程的子集, 專注於如何建立和格式化指令以 指導模型的產出。這在處理複雜的多輪對話或智慧體系統時, 依然是必要但不足夠。
- 擷取增強生成 (RAG) :一種 將 LLM 連接到外部知識庫或文件的技術, 使模型能夠利用其訓練資料之外的目前和 特定領域的資訊。RAG 是更廣泛的語境脈絡工程框架中的 主要「選擇」機制之一。
語境脈絡工程如何 使用?
語境脈絡工程為任何語言模型必須準確推理動態、 大規模或特定領域的資訊的系統提供支援 。其應用程式涵蓋產業和部署 環境,從企業軟體、醫療保健到雲端原生 智慧體平台。
- 企業 AI 智慧體:應用了語境脈絡工程原理後, 整合了客戶資料庫、對話記憶和 動態指令的電信聊天機器人獲得了更高的客戶滿意度 和更低的升級率 。
- 醫療診斷:一款針對罕見疾病的實驗性 AI 診斷工具,透過輸入全面的患者 病史、生活方式資料和醫學文獻,實現了比 沒有完整語境脈絡工程的模型更高的準確率和及時性。
- 程式助理框架:多智慧體 LLM 系統仰賴語境脈絡工程來協調任務,如 程式碼輔助框架所示,結合了意圖翻譯、語義 檢索、文件合成和專門的工具智慧體。
- 雲端規模推論:隨著 AI 工作負載的擴展 從訓練到大規模推理,包括推理密集和 基於智慧體的系統,計算堆疊和記憶體層次結構的每一層對記憶體和儲存 的需求都在增加。
- AI 智慧體管道:語境脈絡組件是 是每次智慧體循環迭代的第一步。語境脈絡工程是 一門使此步驟更加審慎的學科,確保模型 在每次調用中看到的內容都是高訊號、範圍明確且及時,而非 嘈雜或過時的。
- RAG 驅動的知識系統:組織 部署語境脈絡工程來建立檢索管道, 從企業文件儲存中提取準確、最新的資訊, 使模型能夠可靠地回答問題而無需 再訓練。
Micron 如何實現 語境脈絡工程
語境脈絡工程取決於一個基礎資源:記憶體。AI 語境脈絡長度每年增加 30 倍,而每台伺服器的記憶體 容量在過去三年中翻了一番。系統 效能現在比以往任何時候都更加依賴記憶體頻寬和 容量。Micron 的端對端記憶體和儲存產品組合是 專門為滿足語境脈絡工程 工程堆疊每一層的需求而打造的。
Micron 的資料中心記憶體和儲存產品組合是專門為 滿足 AI 基礎結構層次結構的每一層需求而打造的。高頻寬 記憶體 (HBM) 為高速模型執行和熱鍵值 (KV) 快取提供支持,而 LPDDR 和 DDR 為編排和 長語境脈絡擴張提供系統記憶體。資料中心 SSD 讓堆疊更完整,提供 高效能硬碟,可滿足持續 KV 快取需求和 適用於龐大資料湖的高容量硬碟。
加速語境脈絡工程 工作負載量的關鍵 Micron 解決方案:
- Micron AI 記憶體和儲存產品組合:從 HBM 到 LPDDR、 DDR 和資料 中央 SSD,Micron 為語境脈絡工程堆疊的每一層 提供記憶體和存放區,直接加速推理時 大型語境脈絡視窗的處理。
- SOCAMM: Micron 是 256GB SOCAMM2 的唯一供應商,這是全球容量最高的產品, 與標準 RDIMM 相比, 低功耗資料中心記憶體的功耗和體積僅為其三分之一,實現了 長期擴張,並具有卓越的效率。
- MRDIMM: 與標準 RDIMM 相比,Micron的 MRDIMM 創新技術可提供更高的有效頻寬 39% 和更低的延遲 40%, 以減少從工作記憶體中檢索和 處理語境脈絡所需的時間。
- Micron 9650 PCIe Gen6 SSD: Micron 9650 SSD 是全球首款 PCIe Gen6 資料中心 SSD, 循序讀取速度高達每秒 28 GB,性能是競爭產品的兩倍, 能夠從持久 KV 快取和文件儲存中快速檢索, 為 RAG 管道提供資料。
- Micron 6600 ION SSD: Micron 6600 ION SSD 單盤容量高達 245TB,使超大規模 雲端供應商能夠建立具有業界領先的 密度和能源效率的海量 AI 資料湖,為 大規模語境脈絡檢索語料庫提供儲存基礎。
Micron 領先業界的記憶體解決方案將資料處理為 即時洞察,改變世界使用資訊的方式 豐富所有人的生活。隨著語境脈絡視窗的成長和智慧體 AI 系統 成為標準部署模式,Micron 的記憶體和儲存裝置 創新可消除制約 大規模情境工程的瓶頸。深入瞭解 AI 記憶體和儲存解決方案,以及 Micron 如何為驅動現代 AI 系統的基礎結構提供支援。
即時工程設計塑造指令,同時語境脈絡工程 塑造模型在回答之前就知道的一切。提示詞工程 將單一訊息最佳化,絕大部分為無狀態且解決 單回合完成問題。語境脈絡工程管理 多步驟智慧體和長時間運作任務的整個語境脈絡視窗, 解決諸如語境脈絡腐爛、分心和矛盾 狀態等僅靠提示詞工程無法解決的問題。
環境工程需要快速、高容量的基礎結構 因為 LLM 在推論時間會處理整個內容視窗。AI 語境脈絡長度每年增加 30 次,而系統 效能現在比以往任何時候都更依賴記憶體頻寬和記憶體容量 。高頻寬記憶體加速 KV 快取存取, 企業級 SSD 可實現 RAG 管線的快速文件檢索, 擴展的 DRAM 容量支援長時間語境脈絡工作負載而不會 出現瓶頸。Micron 的產品組合涵蓋 HBM 和資料中心 SSD, 可提供這些工作負載所需的頻寬、容量和低延遲 。