美光技術詞彙表

超大規模服務商

從上方檢視網路資料中心伺服器

人工智慧(AI)熱潮的核心是超大規模企業 (例如 Google Cloud、Amazon AWS、Microsoft Azure 等), 這些公司設計、建置和營運運算基礎設施, 其規模從根本上重新定義了資料中心的功能。隨著 AI 工作負載在複雜度和規模上不斷成長,超大規模服務商 已成為現代數位經濟不可或缺的基石。

什麼是超大規模服務商?

超大規模服務商是指那些設計、建構並經營資料 中心的公司,其規模超出了一般企業基礎設施所能達到的範疇。 界定此標準的依據在於功能:設施內需容納 5,000 台及以上 伺服器,佔地面積達 10,000 平方英尺及以上;其架構應支援 按需擴容,無需從零開始重建。

「超大規模服務商」這個名稱源自於「超大規模運算」, 這是一種資料處理方式,能夠讓軟體架構隨著需求成長而實現擴展 。主要雲端供應商,例如 Amazon Web Services(AWS)、 Google Cloud、Microsoft Azure、Meta 和 Alibaba Cloud 符合該 描述,在全球範圍內運營著數百座設施,並同時運行 數百萬台虛擬機器。

在實際應用中,規模最大的超大規模資料中心園區佔地可超過一百萬平方英尺, 容納數十萬台伺服器,且每個園區 消耗的電力達 50 兆瓦或以上。這 這種覆蓋全球的觸達能力,使得超大規模服務商能夠同時為數百萬甚至數十億 用戶提供服務;這種營運層面的現實是 傳統企業基礎設施所無法實現的。

超大規模服務商是如何運作的?

超大規模資料中心透過六個核心元件實現其規模, 其共同構成一個整合系統。每項 都支援在不使設施其餘部分停駛的情況下進行更換、升級或擴展 。

  • 伺服器列:商品伺服器被堆疊在機架, 並排列成行;每台伺服器上都運行著 承載雲端工作負載的虛擬機器或容器。
  • 配電:透過 變壓器和不間斷電源(UPS)提供冗餘供電, 並配備備用發電機;電氣系統佔建造 成本的 40%–50%。
  • 冷卻系統:伺服器排出的熱風 可透過空氣處理設備、冷通道封閉系統, 或針對高密度 AI 機架所採用的直接液冷技術進行收集。
  • 網路架構:高速內部網路 將所有伺服器連接起來;大多數超大規模服務商部署了 25 Gbps 或 100 Gbps 的伺服器鏈路, 並採用 40 Gbps 或更高速度的主幹連網
  • 軟體編排:Kubernetes、專有 調度器或分散式運算框架負責管理工作負載的部署, 能夠在幾分鐘(而非幾週)內完成資源容量的配置
  • 實體安全:生物識別存取控制、 視訊監控和周邊系統保護儲存著 數百萬客戶資料的設施

在 AI 領域,超大規模基礎設施與 傳統資料中心之間有三個根本區別 :自動化營運、分散式架構以及 自訂硬體。超大規模服務商往往會 對其基礎設施的關鍵部分進行客製化,包括伺服器設計、網路、冷卻系統, 在某些情況下還包括自訂晶片或 AI 加速器。這種自訂的組合 和商業硬體有助於提升效能、效率和整體 大規模擁有成本。

超大規模 基礎建設是如何發展的?

超大規模基礎設施的出現, 源自於對支撐網路規模服務的需求 而傳統的資料中心設計已無法滿足此類需求。從大型伺服器叢集向專門建置的超大規模園區演進, 此過程與雲端運算、 行動互聯網及 AI 的興起密切相關。

  • 2020 年代初期:谷歌和亞馬遜開始建立龐大 專有的伺服器基礎設施, 以支援全球規模的搜尋和電子商務工作負載量。
  • 2006 年: AWS 作為公有雲平台問世, 為全球企業帶來隨選使用、按量付費的基礎設施, 並確立了超大規模雲端服務商的商業模式。
  • 2010 年代:Microsoft Azure、Google Cloud 和阿里 雲端已躋身主要超大規模雲端服務商之列;隨著行動 網路使用量和串流媒體需求的激增,相關投資也正在加速成長。
  • 2020–2022 年:COVID-19 加速雲端採用; 超大規模服務商迅速擴大容量,以滿足遠距 辦公、數位服務和視訊串流媒體領域激增的需求
  • 2023 年–目前:生成式 AI 已觸發新一輪的 超大規模基礎設施投資浪潮;據預計,光是 2026 年,亞馬遜、微軟、 Google 和 Meta 在 AI 及資料中心基礎設施的總支出就將達到數千億美元。

超大規模服務商 主要有哪些類型?

超大規模服務商在核心商業模式以及 向市場提供的服務方面各不相同。儘管它們都具備規模宏大和基礎設施自動化這一核心特徵, 但在如何利用這種規模實現盈利 以及主要客戶群方面,則各不相同。

1. 公有雲超大規模服務商

公有雲超大規模服務商是指那些直接向企業、 開發者及各類組織出租雲端運算基礎設施的公司。 AWS、Microsoft Azure 和 Google Cloud 等服務供應商 提供對運算、儲存和網路資源按需存取的能力, 讓客戶無需自行建置或管理資料中心,即可擴展工作負載量。

2. 社交與消費平台領域的超大規模企業

社交與消費平台領域的超大規模基礎設施營運商, 指那些經營超大規模基礎設施、主要用於支撐自身大型 數位平台的企業。Meta 和位元組跳動利用這項基礎設施 來支援各類消費級應用、廣告平台以及內部 AI 研究 計畫。

3. 電子商務與企業級超大規模服務商

電子商務企業及超大規模企業雲端服務商, 是指那些將龐大的內部業務工作負載與公有雲或企業雲端 服務結合的公司。阿里雲和IBM雲端透過支援電子商務、 企業應用及雲端基礎設施需求,服務區域和全球市場 。

4. 經 AI 優化的基礎設施供應商

AI 優化型基礎設施供應商是指專為 支援 AI 訓練與推理所需的圖形處理器(GPU) 基礎設施而建構的平台。這些提供者專注於高效能運算、 高速網路以及高密度加速器配置, 旨在滿足高要求的 AI 工作負載量需求。

有哪些常見 超大規模的使用案例?

超大規模服務商提供基礎設施,為各行各業 及各類應用提供支援。透過提供現成、可擴充的 基礎設施,超大規模雲端服務商使各類組織無需管理實體硬體, 即可進行實驗、建置和創新。超大規模

雲端 服務商提供的雲端解決方案,既能降低部署企業級基礎架構所需的資本支出, 又能提供靈活的容量擴展能力, 支援即時按需擴容或縮容。
  • AI 訓練和推論:所有主要的 AI 模型, 包括 GPT-4、Gemini 和 Llama 3 在內的模型均基於超大規模基礎設施進行訓練; 高密度 GPU 機架為十億參數級模型的開發提供了支援。 發展
  • 企業雲端運算:組織 將工作負載遷移至超大規模雲端平台, 旨在降低基礎設施成本、提升敏捷性,並取得資料庫、 網路及安全方面的託管服務
  • 大數據分析: 超大規模服務商處理並 儲存PB級資料集,為商業智慧、 即時決策和預測建模提供支援
  • 機器學習開發:資料科學團隊 利用超大規模平台,在無需管理底層硬體的情況下,大規模地訓練、驗證並部署機器 學習模型。 。
  • 內容傳遞和串流:影片、遊戲 和媒體平台依賴全球分散式超大規模 基礎設施,為數以十億計的 同時線上用戶提供低延遲內容
  • 物聯網 (IoT):工業和 消費者 IoT 應用將設備資料匯集至超大規模設施, 以進行即時處理、儲存和回應
  • 邊緣 AI 和混合雲端:超大規模資料中心支援 邊緣 AI 技術能夠幫助各類組織在雲端訓練、管理和更新 AI 模型, 同時在更靠近資料產生源頭 (如工廠、車輛、零售場所及各類聯網設備) 的位置運行對延遲敏感的工作負載量

美光的資料 中心 SSD 及記憶體解決方案, 為超大規模雲端服務商所依賴的儲存與記憶體子系統提供了支撐, 助力其在全球維持 AI 工作負載量的運作。美光專門設立的雲端記憶體 存業務部門致力於使產品開發與超大規模雲端服務供應商 的需求保持一致,重點關注面向資料密集型 AI 任務的進階固態硬碟(SSD)和高頻寬 記憶體(HBM)。

美光如何協助 超大規模雲端服務商?

美光為超大規模雲端服務商提供專為 大規模雲端、AI 及資料中心工作負載而打造的儲存與記憶體技術。這些 解決方案可協助客戶在超大規模環境中實現擴展、簡化、整合與自動化, 同時確保資料在 GPU、CPU 及其他處理單元之間持續流動。

針對超大規模環境,美光提供資料中心記憶體、 高頻寬記憶體(HBM)、DDR5、大容量 RDIMM 以及 NVMe 固態 硬碟(SSD)。這些技術有助於將更多資料遷移至 更靠近運算資源的位置,增加儲存輸送量,並支援 AI 訓練、推理、 分析以及雲端原生服務。

美光的快閃記憶體和儲存產品助力全球一些大型雲端服務企業 提升了工作負載量與應用程式的效能。 美光的工程師利用 Meta 的開放原始碼基準測試套件 DCPerf, 在真實超大規模工作負載量下對低功耗 DRAM 進行了評估。欲了解更多資訊, 請參閱美光

關於 資料中心 LPDDR 的部落格。

隨著超大規模企業擴展雲端、AI 、邊緣 AI 和資料中心 基礎架構,記憶體和儲存仍將是高效 提升效能的關鍵所在。美光透過各項技術支援此成長 這些技術能夠以更快捷、更有效率的方式, 在集中式雲端系統與分散式 環境之間實現大量資料的傳輸、儲存和存取。

常見問答

超大規模服務商常見問題

AI 超大規模服務商是指那些大型雲端與平台公司,其經營 針對 人工智慧(AI) 工作負載量進行過優化的超大規模基礎設施。常見範例包括 AWS、Microsoft Azure、Google Cloud、 Meta、Oracle Cloud Infrastructure、Alibaba Cloud、騰訊雲和 華為雲端。這些公司使用龐大的資料中心網路 高效能運算、AI 加速器、記憶體和儲存裝置來支援 AI 訓練、推論和雲端 AI 服務。

超大規模資料中心在規模、 自動化程度和硬體設計方面,與傳統資料中心有所不同。傳統企業資料中心 容納的伺服器數量不足 5000 台,依賴商用現成硬件, 且透過耗時數週的採購週期進行手動擴展。 超大規模服務商所營運的設施內擁有數十萬台伺服器; 其自行設計客製化晶片及網路硬體,並透過 軟體編排在幾分鐘內完成新容量的部署-這使得工作負載量 能夠在伺服器之間或不同地理區域間實現毫秒級的遷移。

超大規模基礎設施能夠提供 AI 模型訓練與推理所需的運算密度、 記憶體頻寬及儲存輸送量。單一 AI 訓練機架可消耗 10 到 30 千瓦, 達到標準企業機架的功率密度的十倍。僅限 超大規模設施及其專用電力供應系統, 直接液冷技術以及高速網路架構,才能以 經濟高效的方式支撐起訓練和部署 前沿 AI 模型(達到生產規模)所需的 GPU 叢集。