應用

一個問題,數以萬計的詞元。

為什麼詞元需求的不斷增長,將更多的 AI 從雲端推向邊緣

Greg Agius 與 Rui Zhou

您輸入:「本週找時間,帶家人進行一次 100 英里以內的一日遊。推薦適合寵物、幼兒的目的地, 並接近電動車充電,然後建立行程。」

您會回到一個簡短、友善的答案:「可以在星期六。以下是 三個目的地和每個目的地的行程。」

在下面,你的 AI 使用了數萬個詞元。它計劃了, 搜尋了、比較了、自行檢查了並再試一次。您未看到 這些。

您提出的問題與實際運作的結果之間存在的這種無形差距, 是目前 AI 領域最重要的數字之一,而且此差距還在不斷擴大。

一個請求不再是一個請求

您的 AI 會用一個簡潔明了的答案來運作一個工作流程。它將請求分為多個步驟,搜尋內容,呼叫工具,驗證結果,並重試失敗的部分。在美光的測試中,一項 86 字編碼請求觸發了 15 個模型呼叫和超過 400,000 個已處理的詞元。1

這就是詞元放大。當 AI 系統在內部消耗的詞元遠高於使用者在最終回應中看到的權杖時,就會發生這種情況。

互動依使用者要求的說明性詞元
提出問題,獲得答案(單輪問答)最多數百個
具有對話記憶的助理(上下文感知多輪對話)幾千
使用工具並採取措施的代理程式(小型代理程式)數萬
在背景運作的自主系統(多代理程式編排)數十萬至數百萬

根據美光白皮書中模擬的場景給出的範例範圍。實際詞元的消耗量會因模型、內容長度、工具使用、重試次數和代理程式架構而異。

問題不是 價格;它是儀表

雲推理對於前沿推理、 不可預測的需求和實驗仍然至關重要。少量使用時價格便宜,而且 它變得更便宜了。

這不是雲端昂貴的論點。這是關於量 的爭論。放大效應意味著您工作背後的詞元數量 不再由您控制甚至看到,而輸出詞元的 價格通常是輸入詞元的五倍或更多。價格下跌 乘以詞元數量大幅增加,仍然會產生影響——更重要的是, 它是可以計量的。

感覺就像是配給制。因為計量表在運行,所以您開始減少自己對 AI 的使用 。您不需要第四次修改提示。 您不會讓代理程式隔夜執行。

未經計量的情報消除了這種猶豫。當您的日常 AI 在您擁有的硬體上運行時,您無需在提出問題之前進行心算。

而且有些東西永遠不會 更便宜

延遲、隱私和合規不是成本論點。它們是 限制,而且沒有價格曲線可以解決這些問題。

對於即時語音、機器人和即時分析,雲端 往返可能並不實用。醫療保健、金融和政府等行業的業務可能會 面臨監管、合約或資料治理的限制, 導致敏感資料無法透過第三方基礎設施進行路由。對於家庭 和個人使用場景,例如教育規劃、財務組合 審查和管理醫療記錄,本地推理有助於將 私人資料保留在設備上。在本機執行可能意味著版本鎖定, 可微調的模型,即使提供者棄用某些功能, 也不會影響您的使用體驗。

當 AI 在您的裝置上運行時,記憶體和儲存裝置決定了運行速度

一旦推理轉移到設備上,基礎設施瓶頸 也會隨之轉移,處理器只是等式的一部分。

每次請求的詞元越多,產生詞元所需的時間就越長, 而裝置上的產生又受到記憶體頻寬的限制。更高的頻寬、 更高容量的記憶體使系統能夠運行更大的模型, 維持更長的上下文窗口,並在邊緣更快地產生詞元。美光 本身的 LPDDR5X 測試表明,解碼性能隨著速度等級的提升而提高。 。2

在您的 AI 可以回應之前,其必須先將模型從儲存空間載入 記憶體。一個擁有數十億參數的模型如果儲存在速度較慢的儲存裝置上,就意味著 您的 AI 需要等待一段時間才能説出一個詞, 而智能體工作流程通常會呼叫多個模型。高效能 PCIe Gen5 SSD 可減少 模型載入時間,而更大的容量則允許裝置維持 為不同任務提供更大的模型資料庫。3,4

儲存空間決定您的 AI 的啟動速度。記憶體決定其 思考有多快。

混合模式是未來趨勢,

邊緣推理無法取代雲端。它將 AI 延伸到 人們每天使用的裝置和系統 — 智慧型手機、AI PC、 工作站、企業邊緣伺服器、車輛和工業 平台。

在混合架構中,每個工作負載都會在最適合 它的位置運作。雲端處理前沿推理、彈性需求,以及 最困難的任務。邊緣運算可以處理高容量、可預測、 對隱私敏感或對延遲要求嚴格的工作。

三點要記住

  • 詞元放大現在是一階設計變數。可見的互動只是實際工作負載量的一小部分,隨著系統增加上下文、工具、驗證、重試和多代理程式協調,詞元的消耗可能會大幅增長。
  • 延遲、隱私和合規對價格下跌沒有反應。這些限制條件會將特定的工作負載量限制於本機,而不管詞元的成本是多少。
  • 記憶體和儲存裝置是本機 AI 效能的基礎。記憶體容量和頻寬決定了模型能力和詞元生成,而儲存效能和容量則影響模型的載入速度以及裝置上可以駐留的模型數量。

重點不在於詞元價格更便宜。它是能夠讓使用者或組織感受到即時性、隱私和易用性的 AI,而無需計算每次互動的成本。因為沒有在網路上等待而立即回應。它了解你的日程安排、文件和習慣,並在工作負載量允許的情況下,將敏感資訊保留在你身邊。

這就是記憶體和儲存裝置的創新。

完整的分析,包括成本建模和部署指南,可在美光公司的白皮書《邊緣還是雲端?》中找到 適用於 AI 推論部署的詞元級架構。

參考資料

1. 美光白皮書,《邊緣還是雲端? 適用於 AI 推論部署的權杖級架構》,2026 年 11 月,https://www.micron.com/content/dam/micron/global/public/products/memory/mobile-dram/lpddr5/documents/ai-tokenomics-white-paper.pdf

2. 美光白皮書,《邊緣端解碼:LPDRAM 在加速 AI 推論中的作用》,2026 年 1 月,https://www.micron.com/content/dam/micron/global/public/products/memory/mobile-dram/lpddr5/documents/mobile-memory-foundation-edge-ai-white-paper.pdf

3. Micron 3610 新聞稿,《Micron 發佈全球首款面向客戶端計算的 Gen5 G9 QLC SSD》,2026 年 1 月 6 日,https://www.micron.com/about/press/news/micron-launches-worlds-first-gen5-g9-qlc-ssd-for-client-computing

4. Micron 4600 新聞稿,《Micron 重新定義適用於 AI PC、遊戲玩家和專業人士的效能》,2025 年 2 月 18 日,https://investors.micron.com/news/press-release/2025/Micron-Redefines-Performance-for-AI-PCs-Gamers-and-Professionals-02-18-2025/default.aspx

美光活動與數位行銷總監

Greg Agius

Greg Agius 是美光手機和客戶事業群(MCBU)產品行銷總監,在領導技術行銷團隊方面擁有超過 20 年的經驗。他負責監督全球績效行銷、社群媒體和數位策略。Greg 與其妻子 Dorothea 和兩個孩子住在愛達荷州,他擁有紐澤西學院學士學位和南加州大學工商管理碩士學位。

Headshot of Greg Agius

モバイルビジネスユニット、プロダクトマーケティング担当シニアマネージャー

Rui Zhou

ハイテク業界におけるビジネスとエンジニアリングで20年近くの国際的な経験を持つルイは、製品ポジショニング、バリュープロポジション、および成長戦略の専門家としての実績があります。ルイはポートランド州立大学でMBAを取得しているほか、シンガポールの南洋理工大学でIC設計の修士号(M.Sc.)と電気電子工学の学士号(BEng)を取得しています。

Rui Zhou

相關部落格