為何裝置端視覺語言模型(VLM)的表現既取決於 AI 運算,也同樣取決於記憶體子系統
AI 不再限於文字。如今,模型越來越常使用影像作為背景,使其能夠以新方式理解世界並與世界互動。裝置可以宣傳令人印象深刻的 AI 輸送量,但仍缺乏反應迅速、持續的多模式體驗。隨著視覺語言模型從概念展示,走向智慧型手機、AI PC、擴增實境裝置及其他邊緣系統,這看似矛盾的現象正變得更加明顯。
原因很簡單:VLM 不僅止於執行操作。它必須在功耗與散熱受到嚴格限制的條件下,完成以下任務:擷取視覺資料、將影像轉換為詞元、將這些詞元與語言上下文結合、呼叫模型參數、維護中間狀態,並產生回應。當這些活動與記憶體容量和頻寬競爭時,尖峰運算能力只說明了部分故事。
多型態 AI 改變系統工作負載量
純文字互動本身就已對模型大小和內容長度敏感。VLM 新增其他維度。影像解析度、切片策略和視覺編碼器設計可決定呈現給語言模型的視覺詞元數量,在第一個輸出詞元出現之前增加前置處理、預填充和記憶體需求。對話時間越長,則擴展系統必須保留並重複存取的背景。
這些壓力不會均勻出現。視覺編碼、快速預填和逐個詞元解碼具有不同的運算和記憶體特性。因此,限制資源可以在單一互動期間移動,並且可以隨著模型、影像輸入、內容視窗或裝置電源狀態的變化而再次移動。
為什麼某些人工智慧效能指標可能未能反映全局
這就是為什麼只有加速器輸送量無法預測完整的使用者體驗。首個字元生成時間、詞元生成速率、持續效能、單次互動能耗,以及維持有效情境的能力,全都取決於平台在資料傳輸與儲存方面的效率,以及其運算速度。
對於系統設計者而言,一個更有意義的問題或許並非「該設備能提供多少次 AI 運作?」 而是「整個平台能否在功耗預算範圍內,為各引擎提供所需數據、維持必要狀態,並保障體驗?」
記憶體成為架構決策
記憶體容量決定什麼可以保持常駐狀態。頻寬會影響提供模型權重和中間資料的速度。能源效率會影響工作負載量的持續期間。資料放置與移動決定了這三者。這些考量都無法消除運算的重要性;它們共同決定了算力能否有效利用。
此系統檢視也強化邊緣雲端與雲端的決策。裝置端執行可支援低延遲互動、隱私、個人化和操作,無需網路連線。雲端執行可以帶來更大的模型和彈性資源。正確的分割區取決於工作負載量、體驗目標,以及它們之間移動資料的成本。
瞭解更多
美光白皮書,在邊緣裝置上啟用視覺語言模型:記憶體子系統的重要性,可檢視這些壓力如何在整個 VLM 推論流程中出現。它探索了驅動記憶體流量的工作負載量特性、更豐富的視覺輸入和更長的互動時間的影響,以及可以確定回應性和效率的平台權衡。
重點不是記憶體能取代運算,而是 AI 指標的定義。下一代裝置端 AI 的勝負,甚至其發展上限,都將取決於系統層面。 閱讀完整的白皮書,瞭解該結論背後的測量、縮放分析和架構影響。