分散式 AI

傳統上，AI 推論也稱為 AI 處理，已經集中在大型資料中心，提供龐大的運算資源。然而，對即時應用程式和即時回應的需求不斷增加。

這種需求導致 AI 模型的興起，其在多個裝置上分配運算和資料處理。

這種方法稱為分散式 AI（DAI），旨在運用叢集、網路或邊緣裝置等分散式系統的集體力量來處理大規模運算和資料。

透過利用雲端和邊緣運算的優勢，滿足邊緣端不斷增長的工作負載需求，分散式 AI 將突破 AI 所能達到的極限。

與美光一同瞭解分散式 AI 的運作方式及其帶來的好處。請聯絡我們的銷售支援團隊以取得更多資訊。

什麼是分散式 AI ？

分散式 AI 的定義：分散式 AI 是一種運算方法，可集中處理資料以確保安全性，而 AI 推論任務則分散並同時在多個節點或裝置上執行，以提高效率、可擴充性和回應能力。

傳統的集中式 AI 系統將資料處理集中在單一裝置中。但是 DAI 系統不需要將大量資料移至單一裝置。而是在多個雲端和裝置上執行 AI 演算法，包括來源資料分析。

分散式 AI 可集中資料處理，但可將推論工作負載分散至雲端和邊緣裝置，而邊緣 AI 則可在本機處理邊緣裝置上的資料。分散式 AI 和邊緣 AI 在安全性和隱私權方面都提供了顯著的優勢，儘管透過不同的方法。基本上，分散式 AI 系統使用互連裝置的集體智慧進行協作學習和解決問題。

由於 DAI 集中資料處理，因此敏感資訊會在此集中位置進行處理。這項集中化讓組織能夠實作進階的隱私權強化技術，例如差異隱私權與同態加密，以便在處理期間保護資料。此外，透過分發推論任務而不必移動大量資料，DAI 可將傳輸期間的暴露降至最低。

另一方面，邊緣 AI 在本機裝置上處理資料，減少將資料傳輸至集中式伺服器的需求。這種本地處理方式將資料傳輸過程中潛在的違規行為暴露降至最低，從而提高安全性和隱私。透過瞭解這些不同的方法，我們就能瞭解 DAI 和邊緣 AI 如何為更安全且具有隱私意識的 AI 生態系統做出貢獻。

如同我們所建立的，分散式 AI 將 AI 推論與雲端和邊緣端無縫整合，提升處理效率並縮短回應時間。這些改進可降低傳送資料至資料中心所伴隨的延遲、功耗和頻寬挑戰，進而提供更好的使用者體驗和可擴充的 AI 應用程式。減輕這些挑戰也需要裝置本身更多的能力。

整體而言，分散式 AI 在 AI 技術方面有重大進展，並象徵著未來發展的方向。讓裝置能夠即時推論和處理裝置本身的資料，比先前的迭代功能更強大也更動態。 

分散式 AI 如何運作？

分散式 AI 同時使用雲端和邊緣處理，提供更有效率且可擴充的 AI 解決方案。在這個系統中，AI 訓練和開發通常發生在雲端，其中的運算資源豐富。

訓練完成後，模型就會部署到邊緣裝置進行即時推論，進而加快回應速度，減少對持續連線的需求。這種方法不僅能提升 AI 系統的效率和可擴充性，還能確保 AI 功能在各種環境中都能存取且有效。

訓練、開發和部署的分離是策略性的。AI 裝置的設計採用一些規則，規定了何時應進行內部處理，以及何時應將處理傳送至雲端。這種區別優化了資源使用，允許裝置在內部處理輕型任務，同時將要求更高的工作負載卸載到雲端。

設計強大且高效率的 DAI 系統的關鍵在於動態識別系統資源限制，並相應地分配處理工作負載。透過整合利用自主代理能力的智慧體 AI ，以及在邊緣設備上使用小型語言模型（SLM），分散式 AI 系統可釋放 AI 的真正潛力。

DAI 模型會依其特定功能規則而有所不同，受到決定工作負載分配方式的幾個關鍵因素影響：

• 裝置類型：內部運算能力低的裝置可以處理更簡單的資料集，但需要卸載更嚴苛的處理任務。
• 資料類型：資料集不同，導致不同的處理要求。需要處理大型複雜資料集的模型，以及文字、數字和圖形資料的混合，可能必須將此較大的工作負載卸載至雲端。
• 裝置與雲端之間的連線：分散式 AI 仰賴裝置與雲端位置之間的快速通訊。這種依賴性意味著裝置與雲端之間的連線必須安全且高效，允許在兩點之間進行高速資料傳輸。 

分散式 AI 的發展歷程是怎樣的？

• 1970 年代中期，引入分散式 AI: DAI 在 1970 年代中期成為 AI 的子領域，解決了集中化 AI 系統的局限性，而這些系統在可擴充性和穩健性方面遇到了困難。早期 DAI 系統設計用於獨立運作，在動態環境中提供更大的靈活性和適應性。
• 1990 年代，機器學習的進步：1990 年代是 DAI 的關鍵時代，在機器學習和自然語言處理（NLP）方面取得了重大進展。研究人員探索了決策樹和神經網路等新技術，讓機器能夠從資料中學習，並隨著時間提升效能。儘管面臨運算能力有限等挑戰，但這十年見證了專家系統的興起和聊天機器人（如 A.L.I.C.E.）的發展，其目標是通過圖靈測試。這個時期也見證了 AI 寒冬，AI 研究的資金和興趣暫時下降。
• 2000 年代初期，AI 浪潮的興起：2000 年代初期，運用龐大資料集提升效能，轉向資料驅動的 AI。這個時代看到大數據 AI 的興起，在此期間，影像識別、語音辨識和個人化新聞摘要的功能得以提升。分散式 AI 系統變得越來越強大且適應性更強，並且整合了多代理系統和分散式問題解決方法。資料可用性的增加和運算能力的進步，顯著提高了 DAI 的開發和應用。
• 2020 年代分散式 AI 的突破：2020 年代的特點是，在深度學習、自然語言處理和生成式 AI 模型如 GPT-3 和 GPT-4 的突破性技術所推動的 AI 前所未見的進步。這些進步讓 DAI 系統得以使用大量資料和運算能力，進而帶來更複雜且可擴充的解決方案。從醫療保健到金融，AI 與各種產業的整合，已展現了 DAI 在解決複雜、真實世界問題方面的轉型潛力。

快速的創新速度持續突破分散式 AI 的極限，使其成為現代 AI 研究和應用程式的關鍵元件。

分散式 AI 的主要類型有哪些？

分散式 AI 的主要類型包括以裝置為中心、裝置感測和聯合處理分散式 AI。

• 以裝置為中心的分散式 AI 將裝置本身作為核心處理位置，當裝置缺乏運算能力或處理能力時，只有少數任務卸載到雲端，以達到足夠的輸出。
  
  此方法可確保大部分資料處理在本機裝置上進行，減少對持續雲端連線的需求，並提升即時回應能力。
  
  這種類型的範例是筆記型電腦上的 AI 聊天機器人。在此情況下，裝置會在本機進行大部分的處理，提供快速且高效率的回應，而不必高度依賴雲端資源。
• 裝置感測分散式 AI 模型會處理原始輸入資料，將其轉換為文字資料，然後再傳送至雲端進行進一步處理。此方法允許在本地處理初始資料預處理，這種方法可以減少將資料傳輸到雲端的資料量，並提高整體系統效率。
  
  智慧家庭裝置中的感測器是這類分散式 AI 的典範，因為其會在本機預先處理資料，然後再傳送到雲端進行更複雜的分析和決策。
• 聯合處理分散式 AI 將裝置和雲端之間的處理工作負載分割為最大輸出，使用多種大型語言模型（LLM）單獨處理資料集的不同部分。
  
  這種方法利用本機和雲端處理的優勢，確保任務由最適當的資源處理。
  
  自駕車是聯合處理分散式 AI 的主要範例。它們會在本機處理資料，以立即做出駕駛決策，同時將更複雜的任務，例如路線最佳化和流量分析，卸載至雲端伺服器。

分散式 AI 是如何應用的？

分散式 AI 的一大應用場景是將更強大的 AI 模型嵌入智慧型手機和平板電腦等行動裝置，就像 ChatGPT 這樣的 AI 聊天機器人正在顛覆科技產業，包括行動裝置和搜尋功能的演進。這些聊天式搜尋引擎越來越受歡迎，仰賴不斷增長的 DAI 力量和發展的複雜度，在雲端中的本機裝置和 LLM 之間進行處理。 

DAI 的另一個使用案例是自駕車的演進。曾經只存在於科幻小說中的無人駕駛汽車以及自動駕駛汽車，如今借助分散式 AI 技術正迅速成為現實。在這些車輛中，DAI 模型允許將複雜的資料處理卸載到雲端電腦，而核心資料收集和精煉仍然是留在本機。

由於物聯網 (IoT)，分散式 AI 已融入我們的日常生活中。AI 模型用於改善構成物聯網網路的技術中的決策，從而提高效率並增強各行各業的使用者體驗。