AI「知道」某事意味著什麼？

探索嵌入空間，瞭解 AI 如何模擬知識。

要問 AI「知道」某事意味著什麼，就必須超越其輸出，進入其進行預測的奇特數學空間。瞭解這一過程可以改變您與 AI 的關係，AI 並非體現真理的源泉，而是一個複雜的系統，您可以透過提高認知和謹慎行事來駕馭其機率預測。有了這種技術上的理解，就能為更平衡的思考創造空間，並讓您參與深思熟慮的探究：與其接受關於 AI 的籠統、一概而論的說法，您可以承認不確定性，並就 AI 何時、如何以及在何種條件下可能增強或重塑人類能力提出更精確的問題。本篇部落格是我們 AI 概念四部曲中的第一篇，文章首先介紹「詞元」和「嵌入」等基礎術語，然後探討「嵌入空間」，這是一個高維空間，是模型對語言的內部表示。在這裡，字詞之間的關係經過編碼，以統計而非基於意義的方式指導模型的預測。我們還窺見了記憶體的作用，該技術不是作為回憶，而是作為底層硬體架構的一部分，悄無聲息地塑造著這些系統所能容納和表達的內容。

「《白雪公主》的寓意是絕對不要吃……」

作家 Lemony Snicket 的這句俏皮話重構了《白雪公主》的結局，揭示了我們固有的教條在達到邏輯的極端時會變得多麼奇怪和僵化。即使沒有說完，這個句子所揭示的也比本身所隱藏的要多。這當中的具象是如此熟悉，以至於下一個詞似乎是自動浮現的，與其說是有意識的回憶，不如說是一種更深層次的東西，源於童年童話的塑造。當然是蘋果！或者，毒蘋果？ 作為讀者，您可能感到平靜而篤定，這是條件反射式的感覺，因為您知道這個句子應該如何結束，儘管您知道蘋果並非故事的真正寓意。這種條件反射引發了更深層次的問題：如果語言模型可以產生同樣的結尾，或者與之相近的結尾，那麼該類模型究竟基於什麼，又代表了什麼樣的「認知」？

如果我們把這句不完整的句子提供給大型語言模型 （LLM），系統可能生成下列結尾：「陌生人的食物」、「毒蘋果」或者乾脆就是「蘋果」。每個版本似乎都合理。「陌生人的食物」反映了實際的故事情節，「毒蘋果」指出了最具象征性的危險，而「蘋果」則聚焦於那粒惡名昭彰的水果。但這些可能的結尾均不是源自經驗或生活。LLM 並不是在解讀故事，而是在識別英語語言的統計模式。也就是說，由於 LLM 產生文字的方法是從可能的下一個詞元分布中採樣，結果可能會因提示語的措辭、使用的模型，甚至最近的對話記錄而有所不同。因此，上述例子只是說明性的，而非確定性的。

在探討 AI 透過這些統計模式「知道」某事意味著什麼之前，值得考慮的是，物理現實如何使這種「知道」成為可能。用「蘋果」或「陌生人的食物」把句子補全看似簡單，但其基礎就像我們繼承的故事一樣多層次、複雜。每一個預測都源於數字關係，而數字關係的存在需要物理基礎。這些數字需要在電路和記憶體系統中安家，以便大規模地儲存、計算和加以處理。在看似流暢的表象之下，隱藏著在很大程度上被我們抽象化的硬體架構，而這些架構正是模型產生每一個看似輕鬆的回應所必需的。本部落格主要關注從文章到預測的概念之旅，但在此過程中，我們也瞥見了使這一切成為可能的物理現實，特別是構成支撐模型智慧的基礎硬體的先進記憶體技術。

從文字到預測的過程是怎樣的？

詞元

當 AI 遇到一個詞時，它不會像人類那樣思考其含義，也不會調用經驗、記憶或感官資訊。相反，它會透過將字詞轉換為詞元，開始解讀文字的過程，您可以將詞元視為 LLM 可以處理的最小文字單位。詞元可以是一個完整的字詞，如「snow」，也可以是字詞的一部分，如「app」，甚至可以是標點符號、字母或空格。當我們在 AI 系統中輸入「《白雪公主》的寓意是絕對不要吃……」這樣的短語，並詢問句子的結尾是什麼時，文字首先會被加工成詞元。雖然具體的詞元化過程因模型而異，但可能類似於以下範例：

["\u201cThe\u201d | \u201c moral\u201d | \u201c of\u201d | \u201c Snow\u201d | \u201c White\u201d | \u201c is\u201d | \u201c to\u201d | \u201c never\u201d | \u201c eat\u201d"]

請注意，為了說明問題，我們已簡化此流程。實際的詞元化基於複雜算法且通常為專有技術。這些短詞的共性意味著在詞元化時不太可能被分割。注意內部字詞前的空格。這表示這些詞已納入句子中，而非新句子的開頭。¹ 詞元化只是文字到預測的更廣泛轉換過程的一個階段。要理解語言如何變得可被機器解讀，可以將此過程視為一種蛻變。就像毛毛蟲變成蝴蝶一樣，在人類語言（在本例中為文字輸入）變成機器可以解讀的內容之前，本身要經歷一系列結構化步驟，在這些步驟中，意義被轉化為數學關係。為簡單起見，我們將此過程描述為從文字到詞元再到嵌入。然而，這一過程要細微得多，涉及到詞元 ID 和其他表徵等中間步驟，以幫助縮小自然語言的豐富性與機器理解之間的差距。

嵌入

然後，詞元被映射到嵌入，嵌入是一種數學表示法，可以捕捉詞與詞之間的語義（詞所代表的想法）和句法（詞在句子中扮演的角色）關係。² 重要的是，這些關係並非透過顯式編程得出，而是透過訓練資料（可能包括文獻、文章、對話記錄和其他來源）中詞語出現和重複出現的模式學習而來。然後，這些嵌入被投射到訓練過程中創建的高維空間中。該空間被稱為嵌入空間，是一種數學結構，用於編碼嵌入模型對語言的內部表示。這絕對不是定義字典；相反，而是一個近似性和詞語關聯的統計圖表。也就是說，經常一起出現或具有類似功能的字詞會相互靠近。例如，「單腳尖旋轉」和「迎風展翅舞姿」可能會相互靠近，「蘋果」和「焦糖」也可能如此，但這並不是因為模型瞭解芭蕾舞或甜點搭配。這些字詞只是在相似的上下文中彼此靠近而已。

模擬知識

這一解釋引出了一個關鍵區別。對於人類來說，「蘋果」一詞可能會喚起一生記憶的多層含義：鄰居家的樹、一磅蘋果的重量、舌尖上的甜味。我們的理解來源於文化、感覺和生活經驗。但對 AI 而言，「蘋果」並不以這種方式存在於記憶中。其含義完全是位置性的，是根據嵌入空間內的關係以及從大量文字中學到的模式推斷出來的。AI 可能無法以人類的方式「理解」事物，但卻能妥善模擬理解，因此非常有用。我們所說的「模擬」，是指 LLM 可以生成類似於知識的回應，並非暗示 AI 系統具備人類意義上的理解或意識。如果我們想更好地理解 AI 如何產生看似知識的內容，我們需要更深入地探討嵌入空間。