推動生態系統內部的創新

藉助 AI 資料中心解決方案，我們的合作夥伴正在塑造未來

技術領域不斷發展，我們很自豪能與業內最具創新性和影響力的合作夥伴合作。他們是生態系統的支柱，在他們的幫助下，我們就能推出所合作的產品，實現令人驚嘆的成就。如各位所知，在 AI 應用和服務需求不斷增長的推動下，資料中心市場正在發生巨大轉變。本部落格所載資訊均為已公開資訊，所以本人於註腳註明來源。

我們的生態系統夥伴正提供令人驚嘆的技術，可驅動（或許是彈射），轉發各種 AI 工作負載，例如自動醫療診斷、自動駕駛車輛、個性化娛樂推薦、智慧家居管理、天氣預報，以及最後……AI 生成的藝術。如今誰離開這些能生存下去？ 因此，讓我們深入瞭解所專注的 AI 資料中心處理器和加速器。 
 

發生了什麼事？

Nvidia：不知您是否注意到，NVIDIA 已迅速成為世界上最有價值的公司之一。在去年，其股價上漲逾 230%，市值接近 2 萬億美元（截至 2024 年 2 月 26 日 收盤）。NVIDIA 是資料中心加速器的先驅，提供多種類型的 GPU。最新資料中心加速器是 H100。與上一代 A1001 相比，H100 可提供高達 9 倍的 AI 訓練速度和高達 30 倍的 AI 推論速度¹ ， 而之前許多人認為 A100 是一款高效能 GPU。我們已使用 A100 進行了內部測試。在一次工作負載測試中，我們通過使用 NVIDIA 的大型加速器記憶體技術，在功能聚合（通常是 AI 訓練時間最長的環節）方面的改進超逾 100 倍。需要證據？ 請閱讀我們 2024 年 1 月關於美光 9400 NVMe SSD 的部落格。²

H100 是生成式 AI 的改變型產品；據報導，NVIDIA 有大量供應積壓，所以祝您好運。H200 已經發佈，並承諾會有更大的效能改進。³這是第一個使用 HBM3E 的 GPU，值得注意的是，美光是供應商之一。⁴但別忘了，NVIDIA 亦正打造 DGX 品牌的 AI 伺服器。該等伺服器提供龐大的運算能力，DGX H100 提供每秒 32 千萬億次浮點運算，令人大開眼界! 如果您尚不知曉，NVIDIA 每年都會舉辦一次名為全球技術會議（簡稱 GTC）的會議。下次會議將在數周後舉行，我相信將會公佈一個次世代研發長清單。請務必於 3 月 18 日星期一下午 1-3 時（太平洋時間）觀看 Jensen Huang 的主題演講 

Intel： Intel 首席執行官 Pat Gelsinger 表示，英特爾的使命是「讓人工智慧無處不在」，並為此進行了重大轉變。據報導，該公司已與 NVIDIA 簽署了封裝協議，⁵正向外部方提供代工服務，⁶並精簡營運，以專注於其最重要的市場。Intel 是資料中心處理器領域的知名領導者，提供一系列支援 AI 工作負載的產品，如 Xeon 可擴充處理器。該公司最近發佈了第五代 Xeon Emerald Rapids 處理器，距離發佈其上一代處理器僅時隔一年。滴答滴答，您懂我的意思嗎？ 如果您不明白，我是指這是從一個處理器到下一代處理器的快速過渡，這也是 Intel 著名的「tick-tock（滴答）」策略的一種體現。 😊Intel 告訴我們，對於 Emerald Rapids，每個核心都內置了 AI 加速，有助於將圖像分割速度和圖像分類效能分別提高 42% 和 24%，這是對 AI 推論的顯著改進。⁷

下一步行動是什麼？Intel 已經公開談到了 Granite Rapids，它將擁有 2.9 倍的 DeepMD+LAMMPS AI 推論能力。⁸

雖然 Intel 目前在加速器和 GPU 領域的份額很小，但它亦涉足該領域。2024 年，該公司計劃推出次世代 Gaudi^®3 AI 加速器，⁸這是 2019 年收購 Habana Labs 的產物。預計該加速器將與 NVIDIA 的 H100 和 AMD 的 MI300X 競爭。繼是款產品之後，Intel 擬於明年推出代號為 Falcon shores，將其加速器和 GPU 產品線整合在一起的產品。⁸公開的相關細節很少，但明年有望成為加速器╱GPU 細分市場有趣的一年。

AMD： AMD 是資料中心處理器領域的又一個領導者（有些人可能會說它是另一個領導者），所提供的 EPYC 處理器為 AI 應用程式提供高效能、可擴充性和安全性。在 AMD 測試中，該公司在代際之間的模擬 AI 工作負載測試中顯示出顯著改進。在本篇部落格中，⁹ AMD 資料中心生態系統和解決方案公司副總裁 Raghu Nambiar 提供了一些與 EPYC 第四 代和第三代對比的相關見解。ResNet-50 結果如何？ 效能提升超過三倍。BERT-Large 呢？ 效能提升超過四倍。Yolo v5 呢？ 好吧，真正的問題是這個縮寫是什麼意思？ 您只見過一次。在此情況下，效能提升超過 1.7 倍。該系列針對各種工作負載進行了最佳化，不僅在通用運算方面表現出色，而且在 AI 推論方面亦十分出色。公眾對 AMD 的 AI 藍圖知之甚少，但首席執行官蘇姿豐（Lisa Su）表示:「我們對我們在 AI 領域的機會感到非常興奮。這是我們的首要策略重點，我們正與客戶深入合作，為市場帶來聯合解決方案。」¹⁰

就 AI 訓練而言，配備 AMD Instinct 加速器的伺服器改進流程，確保有效率的模型參數最佳化。在加速器方面，AMD 透過直接將最近宣佈的 AMD Instinct™ MI300 系列與 NVIDIA 的 H100 進行比較，在 GPU 方面與 NVIDIA 展開競爭。最佳效能？AI 的每秒萬億次浮點運算效能提高了 1.3 倍！¹¹在如今的資料中心，僅僅快是不夠的，還必須注意能源效率，因為電力十分昂貴。值得注意的是，在全球十大能源效率最佳的超級電腦中，目前有八台使用 AMD EPYC 及╱或 AMD Instinct 加速系統驅動。¹²

Ampere：Ampere 為資料中心處理器領域初入者，而資料中心處理器是第一款為 AI 和雲端工作負載設計的雲端原生處理器，採用以 Arm 為基礎的技術建構。其主流 Ampere Altra 處理器擁有多達 128 個基於 Arm 的內核，為資料中心應用程式提供高效能、節能和可擴充性。舉例來說，Ampere 展示了其 Altra Max 在電腦視覺工作負載方面的效能比 Intel 的 Ice Lake 和 AMD 的 Milan 高 166%。¹³在另一項自然語言處理（NLP）測試中，Altra Max 比 Ice Lake 提高 73%，比 Milan 提高 56%。¹⁴

2023 年 5 月，Ampere 推出了用於雲端資料中心的 AmpereOne 處理器，這是一款提供業界領先的 192 核處理器。¹⁵該公司還聲稱，「AmpereOne 平台非常適合各種系統配置，為大容量儲存、網路、AI 推論及最新的生成式 AI 模型和應用程式提供最高效能。」¹⁵隨著 AI 需求遽增，該公司認為傳統 GPU 可能會使用過度（特別是在推論方面），會消耗過多的電力和金錢。¹⁶因此，AmpereOne 處理器提供了廣泛的節能解決方案組合。Ampere 並非加速器╱GPU 市場的參與者。 

還有其他參與者嗎？ 當然有！例如，許多超大規模機構均專門（特別是為其工作負載）定制建構內部處理器和加速器。此類定制或會令他們在雲端市場上比其他公司更具優勢。
 

合作是關鍵所在！

我們與該等合作夥伴合作，以生產出更好的產品，並確保彼此合作，發揮最佳水準。如果您好奇為什麼一個矽或加速器提供商可以獲得驚人的結果，而另一個則顯示出令人印象深刻的不同結果，而並非只有您有此疑問。這是因為針對該等技術作出了不同的設計決策，此類情況通常會影響您在特定設備上運行的特定工作負載所獲得的結果。 

所以，如同我父親過去常常所說，「你需要合適的工具來完成這項工作。」 我們對這些工作負載進行了廣泛的測試，以幫助您選擇合適的工具來完成工作。我們在美光的資料中心儲存裝置洞見網頁上發佈了許多結果。

此外，如果您尚未看到相關結果，我們還提供一個專門介紹我們與生態系統夥伴合作的網頁。該頁面通過嚴格的測試標準顯示了我們作為儲存提供商與他們進行交互操作。我們的合作夥伴正在透過其在 AI 方面的突破改變技術格局，而我們期待看到他們的產品如何影響這個產業乃至整個世界。這將是一次激動人心的歷程!

我計劃寫關於我們不斷發展的生態系統的其他發展情況，請於稍後再查閱。