智慧體 AI 的興起及其隱藏的基礎架構成本
從聊天機器人到自動智慧體 — 轉變是真實的
AI 不再只是回答問題而已。現今的 AI 系統愈來愈像智慧體，它們會自主地規劃、行動、觀察結果和迭代，直到達成目標為止。無論是軟體工程智慧體檢查程式碼和執行測試、供應鏈代理協調採購和物流，還是綜合 SEC 申報和市場新聞的金融研究智慧體，這些系統與昨天的靜態推論模型基本上不同。
但這裡是大多數人錯過的基礎設施扭轉：智慧體 AI 不僅需要更多 GPU，也悄悄地推動 CPU 和 DRAM 需求的大規模復甦。
GPU 不再是整個故事
多年來，AI 基礎架構對話都是以 GPU 開始和結束。這正在快速變化。在智慧體系統中，GPU 仍能處理 LLM 推論的繁重提升，包括注意力機制、矩陣乘法和權杖產生。但在模型中，完全不同的運算層會變得活躍：
- 將高階目標分解為子任務的規劃循環
- 路由器和排程器，可決定接下來要呼叫哪個工具或 API
- 執行程式碼、查詢資料庫或呼叫外部 API 的工具執行引擎
- 擷取和設定相關內容的 I/O 管線
這個「圍繞模型工作」本質上是分支性、有狀態，並且通常按請求序列化 — 這些特性使其天然適合 CPU，而不是 GPU。以這種方式思考：GPU 是工廠車間；CPU 是管理辦公室。
隨著智慧體工作負載的擴展，每個 GPU 對更多 CPU 核心和執行緒的需求也隨之增加，從歷史資料 1：4 一直變成 1：1 或 1：2，這代表 CPU 需求增加 2–4 倍，這是第一個比例調整曲線。
CPU 不再是支援行動 －新興架構足以說明一切。
矽產業已經收到了通知——而且反應非常強烈。每個主要的 CPU 啟動器現在都在賽車，為智慧體 AI 打造專用矽，而顯示器上的建築野心與我們一代所見的不同。1 這些並非不斷增加的規格凸點。這些都是從頭開始重新設計的晶片，專為提供極端的機架級密度而設計，每個 GPU 的範圍為 86 到 120 個 CPU 核心，其明確目標是保持加速器的飽和和代理管道不中斷地流動。2
所展示的量表令人驚嘆。單一現代智慧體機架現在可以維持數萬個並行 CPU 容器環境，每個環境都是獨立的，每個環境都以完整效能運行。3 這並不是基準。這是一種生產架構。
這不再是為 GPU 伸出援手。CPU 現在是一個大規模的平行網狀架構，可同時分裂成千上萬個智慧體容器，每個容器都代管自主 AI 智慧體在規劃、行動和迭代時所仰賴的工具、沙箱和協調框架。支援行動剛成為主打。
記憶體乘數 — 沒有人看到的複利
每個智慧體都需要一個家 — 而這個家會消耗記憶體
如果 CPU 需求是頭條新聞，DRAM 需求就是更深入、更後續的故事。每個即時智慧體實例都必須維持：
- 狀態和 KV/內容階段 — 追蹤其推理迴路中的位置
- 工具輸出和佇列 — 緩衝 API 呼叫和程式碼執行的結果
- 容器/沙箱記憶體 — 獨立的執行階段環境，可安全執行
- 向量/索引資料 — 用於擷取擴增產生和語意搜尋
- 作業系統和執行時期開銷 — 維持數千個環境運作的基本成本
將此乘以單一機架中的數千個並行代理，數字就會變得驚人。研究顯示，高達 90% 的智慧體延遲可歸因於 CPU 端的工具處理，這意味著記憶體頻寬和容量直接位於代理程式效能的關鍵路徑上。
第二個縮放曲線出現
以下是尚未充分討論的智慧體育 AI 問題：它無法線性擴展，而是倍增擴展。
您為智慧體協調而升級的每個新 CPU 核心都具有一個必須生活在某個地方的即時環境。那就是 DRAM。當您開始堆疊數千個容器時，計算很快就會變得非常棘手。表 1 使其可視化：
| CPU 容器環境成長 | 每個智慧體的記憶體 | 總合併成長 |
|---|---|---|
| 1 x | 1 x | 1 x |
| 2 x | 2 x | 4 x |
| 3 x | 3 x | 9 x |
| 4 x | 4 x | 16 x |
表 1：結合 CPU 和記憶體的成長。1x = ~22K 智慧體容器，每個 16GB。
容器加倍，每個智慧體的記憶體加倍，您的 DRAM 需求就增加了 4 倍。都乘以三，就是 9 倍。這不是四捨五入的錯誤；而是即時重塑資料中心經濟的複合結構力量。
當您檢視每個智慧體的實際承載時，這很合理：狀態、內容緩衝區、工具輸出、向量索引、沙箱記憶體、執行階段額外負荷。每個智慧體的記憶體也無法保持平穩，因為智慧體會變得更聰明，並處理更複雜的任務，因此其佔用空間也會隨之增加。瓶頸不再是 GPU 上的模型數學。這是智慧體環境的爆炸性成長，其需要同時具備活力、溫暖和回應能力。
這是第二個縮放曲線。它與運算曲線平行發展，而且在許多方面，其發展速度更快。
對產業的意義
其影響波及整個資料中心生態系：
- 記憶體廠商面臨加速的需求曲線，強調高容量、高頻寬 DRAM，不只是更多的記憶體，而是更聰明的記憶體架構。
- CPU 廠商 — 它們都開始將產品定位為智慧體調度引擎，而不僅僅是 AI 協處理器。
- 基礎架構架構師必須重新思考機架設計：GPU 主導機架的時代正在平衡專為自主代理程式管線打造的 CPU-GPU-DRAM 網狀架構。
核心要點
智慧體 AI 並非存在於現有基礎架構上的軟體趨勢，而是積極重塑硬體藍圖。給任何建立、購買或投資 AI 基礎架構的人的訊息很簡單：規劃更多 DRAM，並比您想像的更快規劃。
智慧體即將到來。確保您的基礎設施已準備就緒。
參考資料
1. Arm AGI CPU | 採用智慧體 AI 和 CPU 的 AMD
3. NVIDIA Vera CPU 推出：單一機架中包含 22,500 個 CPU 容器環境，每個都包含 88 個核心。
