AI 推論

開發人工智慧（AI）模型需要廣泛的訓練，才能產生準確有效的輸出。但訓練只是整個過程的一部分。一旦模型經過訓練，就必須部署模型來做出真實世界的預測，也就是所謂的 AI 推論流程。在推論期間，模型將所學應用於新資料，為自動駕駛系統、金融服務即時詐騙偵測、資料中心預防性維修，以及智慧工廠和行動平台的智慧邊緣裝置等應用提供動力。 

什麼是 AI 推論？

AI 推論定義：在 AI 中，推論是經過訓練的模型處理全新、從未見過的資料，在未接受進一步訓練的情況下產生預測或決策的階段。 

AI 模型在大型且多元的資料集上受過高度訓練，可學習模式。訓練完成後，就會部署模型，以對新資料執行即時或批次處理。應用此模型進行預測稱為推論。 

一個好懂的比喻是「讀書」與「考試」之間的差別。訓練就像讀書一樣，模型從資料中學習。推論就像考試，模型將所學應用於新資訊。  

AI 推論不僅對於部署新模型非常重要，也對於評估重新訓練或微調的模型也很重要。推論品質的測量方式是模型在真實世界資料的表現有多準確有效，通常要在延遲和功耗降低等限制下進行。

AI 推論如何運作？

AI 推論是將經過訓練的機器學習模型應用於新資料的過程，以產生預測或決策。與從標示資料集學習的訓練不同，推論是關於運用所學的知識，在不進一步學習的情況下提供即時或批次結果。 

在推論期間，模型會接收到從未見過的輸入資料，並根據在訓練期間學到的模式產生輸出。重要的是，此階段未提供標示的範例或預期輸出。這麼做會重新引進訓練，並損害推論流程的完整性。 

推論工作流程通常涉及以下步驟： 

• 將新的輸入資料饋送至經過訓練的模型 
• 產生預測或分類 
• 根據已知基準或預期行為評估輸出 

為了評估推論品質，資料科學家會尋找這些錯誤的跡象： 

• 不準確（不正確的預測） 
• 偏差（訓練資料不平衡導致結果偏差） 
• 安全漏洞（易受敵對輸入影響） 

推論也是績效最重要的地方。在真實世界的應用中，從自駕車到需要立即回應的行動語音助理，或到必須以高精度偵測異常的醫療影像系統，延遲、輸送量和能源效率至關重要。每秒推論次數 (IPS) 和每次推論延遲等指標用於評估系統效能。 

這些指標是美光高效能記憶體和儲存解決方案產生可衡量影響之處。透過減少資料存取延遲和增加頻寬，美光技術實現更快、更有效率的推論，幫助 AI 系統即時回應並有效擴展。推論測試完成後，如果發現效能差距，模型可以部署到生產中或送回進行重新訓練。

AI 推論的歷史為何？

AI 推論自早期以來一直是 AI 的核心部分。1950 年代研究人員首次探索機器如何模擬人類推理時，便出現這個概念。

隨著 AI 的發展，特別是隨著 21 世紀深度學習的興起，推論對於將經過訓練的模型應用於真實世界的資料至關重要。如今，從行動裝置到醫療保健，在跨產業部署 AI 系統，這是關鍵步驟。 

AI 推論的關鍵類型為何？

AI 推論的執行方式和部署地點可加以分類：

• 邊緣推論直接在智慧型手機或物聯網（IoT）感應器等裝置上執行 AI 模型，無需依賴雲端即可實現快速的本機處理。它支援即時回應能力並強化資料隱私權。
• 批次推論會處理群組中的大量資料，通常為離線狀態。它非常適合不需要立即結果的應用，例如詐騙偵測或趨勢分析。
• 即時推論可處理即時資料串流，並提供即時預測，對於自動駕駛或醫療監控等具時效性的應用至關重要。

除了這些部署類型之外，AI 推論也會因方法而異：

• 統計或神經推論用於現代機器學習和深度學習模型。這些模型會根據從大型資料集學到的模式產生預測。
• 規則型推論會套用預先定義的邏輯規則來得出結論。雖然此方法在深度學習中不太常見，但在專家系統和法規遵循驅動的環境中，透明度和確定性至關重要，因此這方法仍然很有價值。

如何使用 AI 推論？

AI 推論是經過訓練的模型如何從新資料產生輸出，並將學習轉化為現實世界的行動。雖然它在測試中扮演了重要角色，但其主要功能是在部署，為語音助理到醫療診斷等所有功能提供動力。這些範例顯示一系列用途：

• 大型語言模型（LLM）使用推論來即時回應提示、總結內容並翻譯語言。
• 自駕車仰賴推論來解讀感測器資料，並做出分秒的駕駛決策，進而提升安全性和回應能力。
• 電腦視覺系統使用推論來偵測物體、辨識臉部，並分析醫療保健和工業自動化等領域的影像。

推論對 AI 應用至關重要，讓模型能夠在動態的真實環境中執行。就是將經過訓練的模型轉換為智慧工具的步驟。