分詞是自然語言處理 (NLP)和生成式 AI 的基礎步驟。在大型語言模型(LLM)能夠處理文字之前, 分詞器會將文字轉換為稱為 詞元的離散單元。提示和回應中的標記數量決定了模型必須完成的工作量, 以及提供答案所需的計算、記憶體和成本 。
什麼是詞元?
在 AI 詞元,詞元是 AI 模型可以處理的小型資料單元 。對於文字,詞元可以是一個完整字詞、字詞的一部分、 單一字符或一個標點符號。例如,「tokenization」 一詞可能被視為一個詞元,或根據分詞器的不同, 被拆分成更小的部分,例如「token」和「ization」。每個 詞元都被分配一個數字 ID,以便模型能夠以一致的方式來 識別和處理該語言片段。
詞元很重要,因為 AI 模型以 詞元來衡量其輸入和輸出。每個模型都有一個上下文視窗——即它一次可以考慮的最大數量的詞元—— 因此此元決定了在這個 限制內可以容納多少個文字。一個簡短的句子可能只使用幾個詞元, 而一篇長文檔或詳細的提示可能使用數千個。模型處理的詞元越多, 它分析輸入和產生 輸出的工作量就越大。
什麼是詞元?
分詞是將文字轉換為詞元並 為其分配 AI 模型可以進行數學處理的數位 ID 的過程。 一些多模態模型對影像、音訊和視訊應用了類似的方法, 將其轉換為類似詞元的單元, 儘管這些方法因模態和模型架構而不同。AI 模型並非直接讀取人類語言, 而是使用分詞將原始輸入轉換為結構化的序列, 以便進行分析、比較和產生。這 讓詞元成為人類語言和模型進行計算所依賴的數值 輸入之間的橋樑。
詞元是大多數自然語言處理任務的第一步, 從文本分類和機器翻譯到情緒分析和 問答都會使用它。它使機器 學習模型能夠將非結構化的人類語言轉換為結構化、 機器可讀的表示形式。分詞方法的選擇 會影響模型在不同 語言以及領域中表達文本的效率。需要更多標記來表達 相同內容的標記器會產生更長的序列,從而增加計算、記憶體 使用和成本。
詞元化如何運作?
分詞器是一種預處理組件,其詞彙表通常 在模型訓練之前從大量文本中學習, 它將輸入文本分割成子單元,將每個子單元映射到數字 ID, 並將該 ID 序列傳遞給模型進行處理。在輸出端, 分詞器的工作原理相反:模型產生的詞元 ID 被 解碼回人類可讀的語言。中間的一切—— 解釋輸入和產生回應——都是由模型完成, 而不是由分詞器完成。
例如,詞元化的作用有點像將一句話變成 條碼或機器可讀代碼。一個人可直接閱讀「牛跳過了 月亮」並理解其含義,但 AI 模型需要 一步一步地準備這句話。首先,在文字規範化過程中, 分詞器可能會對文字格式進行標準化,例如字元 編碼或空格。許多現代 LLM 分詞元器保留大小寫和 標點符號,因為它們有含義。接下來,在詞元 提取過程中,它將句子分割成更小的部分,例如「the」、 「cow」、「jumped」、「over」、「the」和「moon」。然後,在詞彙 映射過程中,每個標記都與模型詞彙表中的數字 ID 進行匹配 。這些 ID 本身並不有意義,但它們為模型提供了 一種一致的方式來識別和處理每一段 語言。
詞元化完成後,模型即接管。首先 將每個標記 ID 轉換為嵌入(訓練期間學習到的數字列表), 然後透過其層來細化這些表示, 以捕捉單字及其上下文之間的關係。例如, 「母牛跳過了月亮」這句話出自 童謠「Hey Diddle Diddle」, 因此,在類似語境中見過這句話的模型可能會將其與兒童文學、 童謠或富有想像力的語言聯繫起來。如果模型也看到「牛」這個字出現在 「農場」、「動物」、「牛奶」和「牧場」等字眼附近, 它就會學習到這些概念也是有關聯的。
在這些層級中,一種稱為注意力的機制可以讓模型 衡量每個標記在上下文中與其他標記的關聯強度。例如, 「牛跳過了月亮」和「牛沒有跳過月亮」 包含許多相同的詞元,但詞元「沒有」 改變了句子的意思。注意力有助於模型 在建立反應時解釋這種差異。
最後,模型一次產生一個詞元, 根據先前產生的所有內容來預測每個新詞元的 ID。 在反分詞過程中,分詞器會將這些輸出的詞元 ID 轉換回可讀文字。若有人問:「這句話來自哪裡?」 該模型可能會識別出與「Hey Diddle Diddle」的聯繫, 並產生諸如「這個短語出自童謠『Hey Diddle Diddle』」之類的答案。 模型會查看問題中的詞語,並產生 符合該語境的答案。簡而言之,詞元將語言分解成 模型可以處理的部分,模型負責 解釋這些部分並產生新的詞元,而反詞元則 將輸出轉換回人們可以閱讀的語言。
詞元化流程的關鍵步驟包括:
- 文本規範化:可選的、分詞器特定的 清理操作,例如標準化字元編碼、空格或 重音符號。許多 LLM 分詞器會保留大小寫和標點符號。
- 詞元提取:應用基於規則或 演算法的模式將文字拆分為單字、子詞或 字元。
- 詞彙映射:從預先定義的詞彙表中為每個詞元 分配一個唯一的數字 ID。
- 分詞:將模型產生的標記 ID 轉換回可讀文字。
分詞本身計算量很小。AI 系統中的大部分工作是在之後進行的, 因為模型會處理輸入標記並產生輸出標記—— 這項工作依賴 AI 處理器附近的快速、高容量 記憶體解決方案 。
為什麼詞元 對 AI 效能很重要?
模型讀取或寫入的每一個令牌都需要計算和資料 傳輸。AI 推理通常分兩個階段進行。在預填充中 階段,模型會立即處理所有輸入詞元, 主要決定開始回應的速度。在解碼階段, 模型一次產生一個詞元的輸出,這決定了 其餘回應訊息回傳給使用者的速度。
解碼階段的每個步驟都需要處理器 從記憶體中讀取模型的權重,因此記憶體頻寬通常會限制 產生詞元的速度。為了避免重複之前的工作,模型也 將上下文中每個標記的中間結果儲存在鍵值(KV)快取中, 該快取會隨著上下文長度和 同時服務的使用者數量而增長。隨著提示越來越長,AI 代理將更多步驟串聯起來, 更多用戶共享相同基礎設施,記憶體容量 和頻寬成為 AI 效能的關鍵。美光的記憶體和 儲存技術幫助 AI 系統為處理器提供資料, 維持高詞元輸送量,並支援在訓練 和推理過程中更長的上下文。
常用的詞元指標包括:
- 上下文視窗:模型一次可以考慮的最大詞元數量, 包括提示和 回應。
- 首次詞元到達時間(TTFT):用戶 等待回應的第一部分出現。
- 每秒詞元數:模型產生輸出的速度, 可以以使用者或整個系統進行衡量。
- KV 快取:用於保存上下文中已有標記的中間結果的內存, 這樣模型就不必重新計算它們。 它們。
詞元化的歷史為何 ?
分詞已經從簡單的基於規則的文本分割 發展成為現代 AI 的核心——複雜的機器學習學科。早期 NLP 系統使用基本字界規則來分割文字。隨著 AI 模型 變得更有能力、更進階的方法變得至關重要。
- 1980 年代至 1990 年代,基於規則的 NLP: 早期的分詞器依賴空格和標點符號規則, 這對於英語而言是有效的,但對於多語言文本來則是有限的。
- 2000 年代,統計方法:機率法 能夠進行更細緻的切分,尤其適用於 沒有明確詞界的亞洲語言。
- 2016,位元組對編碼 (BPE):BPE 最初是 1994 年發佈的一種資料壓縮演算法, 後來被應用於 NLP,實現了子詞 詞元化,從而平衡了詞彙量和語言 覆蓋範圍。
- 2018 年,變壓器時代的詞元器:來自 Transformer 的雙向編碼器表示(BERT) 和生成式預訓練 Transformer (GPT)模型使 WordPiece 和基於 BPE 的分詞器流行起來,確立了 LLM 的行業標準。
- 2020 年代至今,多模態詞元: 基於標記的方法已經擴展到文字之外。視覺變壓器, 例如,將圖像分割成小塊,模型將 這些小塊視為標記,從而幫助實現當今的多模態 AI 系統。
代碼化的主要類型有哪些 ?
詞元化包含幾種不同的方法,每種方法都針對 不同的語言、任務和模型架構進行優化。現代 AI 系統, 尤其是語言學習模型,主要依靠子詞詞元化來 平衡詞彙效率和語言覆蓋範圍。
1. 字詞詞元化
詞符化是根據空格 或標點符號邊界將文字拆分成單字。它對英語等詞語邊界清晰的語言表現出色, 但對複合詞、 沒有空格的語言(如中文、日語)和 詞彙表以外的詞語則表現不佳。
2. 字符詞元化
字符詞元化將文本分割成單個字符, 使用非常小的詞彙量來產生更長的序列。 這種方法可以有效地處理罕見或自造的詞語, 並且適用於具有複雜文字的語言,儘管它會增加序列長度和 計算開銷。
範例:“cow”一詞可以分為字符詞元,例如 “c”、“o”和“w”。
3. 子詞詞元化
子詞詞元化 — 現代 LLM 的標準方法 — 這些片段通常(但不總是) 與前綴、詞根和後綴相對應。它在詞彙量和語言覆蓋範圍之間取得平衡, 使模型能夠透過將罕見詞彙、 技術術語和新語言分解為已知的子單元來處理它們 。
範例:“tokenization”一詞可以拆分成子詞詞元, 例如“token”和“ization”,從而使模型能夠使用較小的已知部分來處理 不熟悉或複雜的單字。常見方法 包括:
- BPE:從單一字元或位元組開始, 重複將最頻繁出現的相鄰字元對合併成新的詞元。 位元組級變體在 GPT 系列和許多其他 LLM 中廣泛應用。
- WordPiece:與 BPE 類似,但選擇 最大化訓練資料似然性的合併。它用於 BERT 與相關編碼器模型。
- 句子片段:一個分詞器工具包,而 不是單一的演算法。它將文字視為原始字元串流,包括 空格,所以它不依賴於語言特定的單字分割。它可以 實現 BPE 或一元詞元化,並廣泛應用於多語言 模型。
4. 句子分割
句子分割,有時稱為句子詞元化, 將段落或文件分為個別句子。與以上 方法不同,它不會建立 LLM 處理的詞元;它是 用於傳統 NLP 管線和文件工作流程的前置處理步驟 。它支援需要文件層級分析的任務,例如 總結、翻譯和長內容推理。
如何使用詞元化?
分詞在各種 AI 應用中都發揮價值,是 解釋或產生人類語言的系統的基礎預處理步驟。從 AI 資料中心到邊緣設備, 大規模部署 AI 的組織 必須管理詞元量,以維持 吞吐量並控制推理成本。
- 搜尋引擎:詞元化讓系統能夠 精準地索引和匹配使用者查詢,提高搜尋關聯性 和擷取速度。
- 聊天機器人和虛擬助理:每位使用者 輸入在處理前都會進行詞元化;輸出詞元會即時解碼成 即時的自然語言回應。
- 機器翻譯:詞元將源句子轉換為 可處理的單元, 從而實現準確的跨語言重構。
- 語音辨識:語音輸入會被轉錄成文本, 然後進行詞元化,以便 AI 系統進行語義解釋。
- 醫療保健 AI:詞元為 AI 模型準備臨床筆記、 病理報告和醫學文獻, 支援診斷和研究工作流程。
- 財務文件分析:詞元 為 AI 模型準備合約、營收報告和監管文件, 以便提取結構化見解。
- 法律文件處理:AI 分詞器將 案件文件、合約和法律條文進行分段,以便進行自動審查和 摘要。
- AI 訓練流程:模型透過預測序列中的下一個詞元來學習; 高效的訓練詞元資料集的資料儲存和 檢索是 大規模 AI 基礎設施的關鍵效能因素。
自然語言處理詞元化和安全詞元化是完全不同的概念, 它們唯一的共同點就是都包含「標記」這個詞。NLP 分詞將文字分解 為語言單元以進行 AI 處理,而安全分詞 則用佔位符詞元來替換敏感資料,例如支付卡號碼, 以保護儲存和傳輸中的資訊。 它們用途不相關,不應混淆。
分詞決定了表示給定輸入或輸出所需的詞元數量, 而標記數量是計算、記憶體 使用和推理延遲的主要驅動因素。由於 KV 快取會隨著上下文中每個詞元的成長而成長 較長的背景也提高了記憶體容量需求。在 大規模部署中,AI 智慧體之間重複的上下文和 不必要的過長提示會顯著增加成本。管理 詞元量 — 透過精確界定上下文並使用適合語言和領域的分詞器, 可以降低基礎設施開銷並 提升 AI 工作負載量的回應速度。
分詞在請求開始時將文字轉換為詞元 ID, 並在請求結束時將產生的詞元 ID 轉換回文字。推論是 模型執行的工作:處理輸入詞元和 產生輸出詞元。詞元化帳戶占 總工作量的少量,而推論則驅動大部分的運算、記憶體和 AI 系統的能源需求。