Micron 技術詞彙表

新型雲端

用於雲端運算的網路資料中心伺服器

人工智慧的時代促使雲端基礎結構徹底重新構思。隨著各組織競相訓練前沿模型並大規模部署即時推理,對繪圖處理單元 (GPU) 運算的需求已經超過了傳統雲端平台的容量。此差距為新型雲端供應商創造了條件,這是全新的雲端基礎結構,專為滿足現代 AI 的原始吞吐量和記憶體頻寬需求而建構,而並非定義上一代雲端運算的通用企業服務而建構。

什麼是新型雲端?

新型雲端 (Neocloud) 是新型雲端供應商的簡稱,這是一家雲端公司,從零開始建構,專為 GPU 運算和 AI 工作負載而生,而非通用企業應用程式。傳統雲端供應商提供的通用服務可能存在虛擬化開銷和網路瓶頸,而新型雲端從一開始就為 GPU 即服務而建構,優先考慮原始效能和硬體可見性,而非廣泛的服務目錄。新型雲端平台涵蓋從大規模訓練、微調到推理的整個 AI 生命週期,提供靈活的消費模型,例如隨需存取、預留執行個體和平台即服務。新型雲端類別的出現,正值 GPU 短缺暴露了現有超大規模資料中心營運商的局限性,以及擁有高密度運算設施的營運商 (其中許多起源於加密貨幣挖礦) 意識到服務於人工智慧產業的機會之際。Synergy Research Group 預測在 2025 年將新型雲端市場規模調整為超過 250 億美元,預計到 2031 年,新型雲端市場將達到 4,000 億美元,年複合成長率接近 58%。

新型雲端基礎結構如何運作?

為了提供決定性的效能,新型雲端基礎結構從一般用途雲端的高抽象度轉移出來,而是專注於三個緊密整合的層級:AI 最佳化的運算、高效能 AI 網路,以及解構式安全基礎結構。此專注於特定領域的工程技術使新型雲端平台能夠支援比傳統平台更客製化的 AI 模型設定。

定義新型雲端叢集如何實現其效能優勢的核心組件包括:

  • AI 最佳化的運算:高密度節點通常每個伺服器包含四至八個 GPU,以支援大規模平行處理並最大化原始吞吐量
  • 高效能網路:雙網路架構使用無損網狀架構和遠端直接記憶體存取 (RDMA) 將管理流量與 GPU 至 GPU 同步區分開來,RDMA 是高效能運算 (HPC) 中常見的一種繞過 CPU 額外負荷的方法
  • 解構式基礎結構:根據工作負載量需求獨立運算、儲存和網路規模,而非鎖定步調
  • 裸機存取:客戶將獲得單一租戶實體伺服器,工作負載量和硬體之間沒有虛擬機器管理程序,消除了虛擬化開銷。
  • 長期產能合約:供應商透過多年供應合約保護 GPU 庫存,並保證向客戶提供 GPU 存取權限

透過充分減少網路波動和噪音鄰居效應,新型雲端供應商可確保其基礎結構保持穩定的 GPU 吞吐量,從而直接提高組織的成本效益。

新型雲端如何賺錢?

新型雲端平台透過出租對 GPU 密集型 AI 基礎結構的存取權限來獲利。營收通常來自短期 GPU 使用、長期容量合約以及託管服務,這些服務可有助於客戶訓練、微調或部署模型,而無需建立自己的 AI 資料中心。商業模式取決於保持昂貴的加速器叢集高度使用,同時提供客戶比傳統採購更快的運算存取。

新型雲端的歷史是什麼?

新型雲端類別是兩種趨同力量的產物:一是生成式 AI 的普及引發的全球 GPU 短缺,二是加密貨幣挖礦時代遺留下來的大量高密度運算基礎結構。許多人開始採用加密挖礦,然後改用 GPU 即服務,以危險的方式打造全新的 AI 雲端運算類型。

  • 2022 年之前,加密貨幣的源起:GPU 營運商為區塊鏈工作負載量建立基礎結構,累積了大量高密度、高功率的設施,其非常適合滿足 AI 運算容量要求。
  • 2022 至 2023 年,生成式 AI 的啟動:大型語言模型 (LLM) 的快速發展帶來了龐大的 GPU 需求,而現有的超大規模資料中心難以快速滿足 AI 開發團隊的需求。
  • 2024 年底,類別正式化:SemiAnalysis 於 2024 年 10 月發布了其 AI 新型雲端劇本與結構 (AI Neocloud Playbook and Anatomy),為新興的 GPU 優先供應商群體賦予了一個共同的名稱。隨著 AI 運算需求超過了現有平台的供應能力,該術語在 2025 年被廣泛使用。
  • 2025 年之後,市場加速:龐大基礎結構交易層出不窮,各大科技公司紛紛投入數兆美元用於新型雲端合作,以比超大規模雲端服務商更快、更具競爭力的條件獲得所需容量。

新型雲端供應商的主要類型是什麼?

新型雲端供應商利用各種商業模式向企業提供 AI 基礎結構,這些模式通常分為三種主要方法,以平衡可擴充性、成本、效能和資料本地性。合適的模型取決於團隊的主要需求是成本可預測性、營運彈性或基礎結構的簡易性。

  • 保留的執行個體:企業承諾將整個 GPU 叢集分配給單一客戶,期限固定,通常為一到三年,以實現最大的效能穩定性和容量保證,同時與穩定態工作負載量的隨需定價相比,成本顯著降低。
  • 隨需執行個體:一種隨需付費模式,可讓企業從共享集區中使用經過 AI 最佳化的運算資源,這些資源專為實驗、開發、測試或需求不穩定的突發性工作負載量而設計。
  • 伺服器平台:這是一種託管平台模式,提供者負責所有資源配置、擴展和生命週期管理,而客戶則根據執行時間、請求數或令詞元付費,因此非常適合將模型部署到以簡易性為首要考慮的生產環境中。

AI 雲端基礎結構模型:雲端運算對比超大規模雲端服務商對比新型雲端

隨著 AI 從實驗階段走向生產階段,基礎結構決策不再只是尋找可用的 GPU。傳統雲端、超大規模雲端服務商和新型雲端之間最明顯的區別在於每種模型最佳化提供的服務:靈活的通用運算、整合的全球平台還是專用的 GPU 效能。

型號最適用於主要強度主要權衡
傳統雲端通用業務應用、資料準備、儀表板和小型 AI 實驗快速配置和靈活存取廣泛的運算資源共用基礎結構和虛擬化可以限制大型分散式 AI 訓練的效能一致性
超大規模雲端服務商需要全球規模、合規性、託管服務和應用程式整合的企業 AI 系統將 AI 與資料庫、安防工具、分析和客戶導向的應用程式的深度服務目錄GPU 存取可能取決於配額、地區可用性、定價承諾和平台限制
新型雲端GPU 密集訓練、微調和高吞吐量 AI 工作負載量具有高頻寬網路、硬體可見性和裸機或近乎裸機存取的專用 GPU 叢集服務目錄範圍縮小意味著團隊可能仍需要依賴其他雲端平台來託管應用程式、提供資料服務或使用企業工具


1. 傳統雲端

傳統雲端是最通用的選項。當團隊需要能夠快速佈建的標準運算、儲存、網路和軟體環境時,運作效果很好。對於 AI 而言,它通常在工作流程的邊緣方面很實用,例如準備資料、執行筆記本、代管內部工具或支援小型實驗。當工作負載量仰賴數百或數千個 GPU 與可預測的延遲一起運作時,比較不理想。

2. 超大規模雲端服務商

超大規模雲端服務商的不同之處在於其將基礎結構與廣泛的託管服務生態系統相結合。其價值不只是 GPU 存取。能夠在單一全球平台中,將 AI 工作負載量與身分、安全性、資料庫、分析、合規性控制和面向客戶的應用程式連結起來。這使超大規模雲端服務商在生產環境中變得強大,但使用者對硬體放置、網路拓撲或每個區域可用的確切加速器容量的直接控制可能較低。

3. 新型雲端

新型雲端之所以與眾不同,是因為能從滿足大型 AI 訓練叢集的需求開始建構。其優先考慮密集的 GPU 容量、快速加速器到加速器通訊、裸機或近裸機存取,以及可預測的叢集效能。它們不提供最廣泛的企業服務,而是專注於減少減緩分散式人工智慧工作的瓶頸,包括網路延遲、硬體抽象和 GPU 存取不一致。

理解這些差異最簡單的方式如下:傳統雲端專為靈活性而最佳化,超大規模雲端服務商專為整合式全球平台而最佳化,而新型雲端則是專為 GPU 效能而最佳化。許多組織將使用一種以上的模型。團隊可以在新型雲端上訓練或微調模型,在超大規模裝置上執行生產應用程式,並使用傳統雲端資源來支援工具或區域工作負載量。在三種模型中,記憶體、儲存裝置和網路選擇都有助於判斷可用的運算是否變成實用的 AI 效能。

如何使用新型雲端基礎結構?

新型雲端基礎結構可加速 AI 生命週期中運算最密集的階段,從模型訓練到生產推論。AI 公司紛紛轉向新興雲端服務商,原因在於其專注於提供 AI 公司最迫切的核心需求:快速、可靠的大規模算力存取;憑藉高度聚焦的業務模式,他們不僅能比大型雲端巨頭更迅速地做出回應,更能支援更加客製化的 AI 模型設定。

  • 前沿模型訓練:AI 研究團隊執行大量的多 GPU 工作,在密集的低延遲叢集上預先訓練和微調 LLM,針對集體通訊進行最佳化
  • 大規模 AI 推論:生產應用程式將 AI 推論工作負載路由至新型雲端 GPU 集區,以在尖峰流量期間維持吞吐量,而不會過度配置專用硬體
  • AI 資料中心擴充:企業以保留的雲端執行個體來補充現有擁有或租賃的資料中心容量,以吸收需求激增,而無需長期資本承諾
  • 啟動 AI 開發:早期 AI 公司以比主要超大規模資料中心更實惠的價格存取 GPU 容量,讓新型雲端對於需要彈性、符合成本效益的存取方式來保持競爭力的新創公司和小型 AI 開發人員尤其吸引人
  • 研究與實驗:機器學習團隊使用隨選的雲端執行個體,在各種硬體設定中執行實驗,而不需投入長期保留的容量
  • 多重雲端 AI 管道:模型訓練在租用的 GPU 容量上執行,而更廣泛的資料管道則將訓練資料、模型檢查點和產生的模型權重移至產品執行的平台,而應用程式託管、資料庫和面向客戶的推論則位於獨立的平台上,並具備企業整合相依性。

哪些公司是新型雲端?

常被歸類為新型雲端服務商的企業包括 CoreWeave、Lambda、Crusoe、Together AI 與 Nebius。這些供應商的規模、服務模式和客戶聚焦各不相同,但其共同強調為 AI 訓練、微調和 AI 推論而打造的 GPU 優先基礎結構。新型雲端並非主要在廣泛的企業軟體生態系統中競爭,而是在加速器容量、叢集效能、高頻寬網路的存取能力,以及協助 AI 團隊以比傳統採購或一般用途雲端環境更快的速度擴展運算的能力上競爭。

為什麼記憶體和儲存裝置對新型雲端效能很重要

Micron 的資料中心 SSD 和記憶體解決方案構成了新型雲端營運商仰賴的資料基礎,能以速度、階段模型檢查點移動訓練資料集,並維持 GPU 密集叢集所需的儲存吞吐量。由於 AI 資料中心需要針對頻寬、延遲和每瓦效能最佳化的記憶體核心架構,因此 Micron 的端對端產品組合可消除從訓練到推論的瓶頸,為未來的 AI 資料中心奠定基礎。進階的 HBM 和快速雲端儲存解決方案直接決定了新型雲端叢集將原始運算轉換為完成模型的效率。

常見問答

新型雲端常見問題

新型雲端是一種公有雲供應商,透過共享網路提供 GPU 基礎結構, 而不是營運專用的內部部署 設備。在新型雲端上運行培訓,在超大規模雲上運行生產, 這屬於多雲,意味著兩個公共供應商, 不涉及任何私有基礎結構,這與混合雲端不同, 混合雲端是將私有基礎結構與公有雲資源結合。

超大規模雲端服務商提供的是廣度:運算、儲存、託管資料庫、 身分管理、安防工具、合規認證和全球區域, 所有這些都包含在一份合約中;而新型雲端服務商提供的是單一維度的深度, 通常每小時 GPU 價格更低,並且通常能更快地存取 AI 專用資源。正確的選擇取決於公司正在建立什麼: 新型雲端適合主要限制是訓練吞吐量的團隊, 而超大規模雲端適合需要合規性、 市場地位和企業整合的團隊。

新型雲端 AI 工作負載量依賴龐大的資料中心, 這些資料中心已經讓電網不堪負荷。 2024 年,美國資料中心消耗了全國約 4% 的電力, 預計到 2030 年,這一數字將翻倍或以上。 而僅冷卻這些設施,一年就消耗了約 170 億加侖的水 。除了能源和水資源需求外,新型雲端服務供應商的迅速湧現 造成了嚴重的市場分散化, 隨著資本限制的收緊和 GPU 供應競爭的加劇, 預計市場將出現整合。