大型語言模型的五大基本上下文視窗概念

另一方面，上下文長度指的是實際佔用空間的詞元數量，即對話過程中當前使用的輸入詞元（藍色）和輸出詞元（綠色）的實際數量。例如，如果模型採用 100,000 個詞元的上下文視窗，而您的輸入使用了 75,000 個詞元，則在達到視窗上限之前，僅剩 25,000 個詞元可用於模型的回應。

序列長度通常指該視窗內單個輸入或輸出序列的長度，這是模型訓練和推理中用於追蹤文本各分段長度的精細化指標。 

上下文視窗設定模型可處理資訊的上限，但不直接反映智慧水平。更大的視窗容納更多輸入，但輸出品質往往取決於輸入的結構化程度和利用效率。當視窗填滿時，模型可能喪失連貫性，導致非預期結果（例如幻覺）。 

詞元並非單字

如果上下文視窗設有上限（如 100,000），那麼詞元就是衡量其容量的單位——需注意詞元並非單字。輸入提示詞的單字會經過「分詞器」處理，將文本分解為詞元。單個單字可能拆分為多個詞元。例如，「strawberry」可分解為三個詞元，「trifle」可分解為兩個詞元。在其他情況下，一個單字可能只有一個詞元，如「cake」。

儘管比率存在波動，但英語單字平均每個詞元約對應 0.75 個單字。因此，具有 100,000 個詞元上下文視窗（按使用者計算）的模型未必能容納 100,000 個單字。在實務上，根據文本的不同，可適配的英語單字量可能接近 75,000 個甚至更少。

估計_詞元數≈單字數∗1.33

為進一步從宏觀角度驗證詞元-單字比率，我們選取古騰堡專案（擁有 75,000 餘本免費電子書的圖書館）中的八部知名文學作品進行快速分析。首先，我們統計每本書的單字數，再透過分詞器獲取詞元計數。比較這些數字後，我們發現平均比率約為 0.75 單字／詞元。 

瞭解此比率有助於普通使用者更高效地與 AI 互動。多數 AI 平台（如 ChatGPT 或 Claude）採用基於詞元的限制機制。這意味著這類平台以詞元而非單字處理文本，因此很容易誤判提示詞或回應中實際容納的內容量。由於使用量通常以詞元而非單字計量，瞭解該比率可幫助您明確限制，從而更有策略地規劃輸入內容。例如，如果模型有 4,000 個詞元的輸入限制，這大約相當於 3,000 個單字。在向模型輸入長文件或資料集以執行關鍵洞察提取或問題解答等任務時，瞭解這一點尤為重要。 

注意力機制在上下文視窗內並非均勻分布

AI 幻覺常被誤解為怪異行為，或被視為語言模型存在缺陷和不可靠的跡象。但幻覺並非隨機產生；它們通常源於模型處理和優先排序資訊的方式——這取決於模型的訓練程度以及注意力分配機制。在 GPT 或 Claude 等基於 Transformer 的模型中，注意力機制是幫助模型判斷上下文哪些部分最相關以產生回應的核心機制。為了妥善理解注意力概念，不妨想像置身喧鬧的雞尾酒會。當有人叫您的名字，您會本能地集中注意力。

「Frodo！在這裡！」

但如果有四個人同時從房間的不同角落叫您的名字呢？

「Frodo！是我，Sam！」

「Frodo！快來！」

「Frodo！看這邊。」

「Frodo……是的，親愛的 Frodo……」

您聽見所有聲音，但注意力已經分散。您甚至可能更關注熟悉的聲音或離您最近的聲音。每個聲音都獲得部分注意力，但分配並不均等。這雖非完美的類比，卻能幫助您理解大型語言模型中注意力的運作機制。模型會關注上下文視窗內的所有詞元，但賦予某些詞元的權重高於其他詞元。正因如此，大型語言模型中的注意力常被描述為「加權」機制——意味著並非所有詞元都受到同等對待。這種非均勻分配是理解模型如何優先處理資訊，以及為何有時看似注意力渙散的關鍵。

更多上下文未必意味著更佳答案

模型雖能掃描上下文視窗內的所有詞元，卻不會以同等興趣考量每個詞元。當視窗填滿（例如達到 100,000 個詞元）時，模型的注意力會變得更分散。在試圖追蹤所有資訊的過程中，清晰度可能逐漸減弱。

此時，模型對對話的掌控力減弱，使用者可能遭遇回應遲緩、邏輯混亂，或對話前後內容出現混淆。幻覺（源自拉丁語 hallucinat，意為「思維偏離正軌」）常在此臨界點出現。需明確的是，這些現象並非模型故障的徵兆。實際上，這表明模型已觸及閾值，正處於滿負荷運行狀態。此時模型可能難以在長輸入序列中維持連貫性或相關性。

從模型的角度來看，早期的詞元仍可被識別。但隨著視窗填滿、注意力分散，回應精確度可能下降。模型可能錯誤引用先前提示詞中的事實，或將無關概念拼湊成看似連貫實則混亂的表述。出現幻覺時，模型並非在說謊。模型是在從已無法完全辨識的片段中拼湊合理回應，在有限注意力的壓力下進行猜測。公平地說，模型是在利用現有資源，試圖理解一場已然膨脹到難以精準把握的對話。以這種方式理解注意力有助於解釋為何更多上下文並不總能帶來更佳答案。²

儘管如此，長上下文視窗（超過 20 萬個，現在已達到 100 萬個或更多詞元）仍然非常有用，尤其是對於複雜推理和影像處理等新興應用而言。新一代模型正接受更高效處理長上下文的訓練。透過最佳化架構和訓練方法，模型能更高效地管理不同輸入的注意力分配，從而減少幻覺現象並提升回應品質。因此，儘管更多上下文不一定帶來更優答案，但新一代模型在保持專注力方面已顯著進步，即使對話變得非常冗長。

序列長度影響反應時間

在闡釋注意力機制後，理解序列長度如何影響推理過程具有重要意義。現在我們可以提出一個實際問題：當我們改變序列長度時會發生什麼事？

輸入序列長度影響首個詞元輸出時間 (TTFT)，即從輸入請求到接收首個輸出詞元所需的時間。TTFT 對 GPU 效能至關重要，因為本身反映了 GPU 處理輸入並計算輸出首個詞元的速度。相比之下，調整輸出序列長度會影響詞元間延遲 (ITL)，即每次產生詞元的時間間隔。^b該延遲與記憶體使用更為相關。

為深入探究，我們採用一階解析模型估算 LLM 推理過程中的端到端延遲。我們在配備高頻寬記憶體（HBM3E 12H，8 個配置位共 36GB）的單 GPU 上運行使用 Llama 3 70B 的模型，並設置 128,000 個詞元的上下文視窗。^c