設計工具
應用

利用美光(Micron)DDR5 128GB 和第五代 AMD EPYCTM 處理器提升資料中心效能

Sudharshan S. Vazhkudai、Sarthak Thakkar、Muktikanta Sa | 2024 年 11 月

關鍵要點


美光(Micron)DDR5 128GB 記憶體搭配具備 128 核心的第五代 AMD EPYCTM CPU,為 AI 和資料庫基礎架構提供強大的解決方案。此解決方案可有效處理大型模型規模和龐大資料集的運算複雜性,包括 AI、機器學習、資料分析和 IMDB 應用。

SVM
1.3 倍
AI/ML 支援向量機(SVM)的效能提升 1.3 倍。1,2

美光®(Micron®)128GB RDIMM 的記憶體時脈速度提高,加上第五代 AMD EPYC™ 處理器的核心數增加,因此頻寬使用量提高 1.3 倍。1

IMDB REDIS
1.2 倍
set:get 比率為 1:10 時,IMDB Redis 效能提高 1.2 倍。1,2

30%
平均延遲降低 30%,p99 延遲降低 60%。1,2

SAP SD
201k 使用者
改善 SAP 銷售和配銷(SAP SD)基準。記憶體容量與時脈均提升 30%,SAP SD 得分比之前的六插槽效能得分更高。


1
美光®(Micron®)128GB DDR5 RDIMM 搭配第五代 AMD EPYC™ 處理器(代號 Turin)。
2 與美光®(Micron®)96GB DDR5 RDIMM 和 96 核心第四代 AMD EPYC™ 處理器(代號 Genoa)相比。


現代資料中心需要大容量記憶體和強大的處理能力來運行支援企業人工智慧(AI)和機器學習(ML)計畫的各種工作負載。美光®(Micron®)DDR5 128GB RDIMM 搭配第五代 AMD EPYC™ 處理器,可為資料中心運行的各種伺服器工作負載提供出色的效能和功能,包括為大規模的雲端型基礎架構提供動力並代管要求嚴苛的企業應用程式。

在本部落格中,我們展示了 AI/ML 支援向量機(SVM)、Redis 記憶體內建資料庫(IMDB)和 SAP SD 的基準測試結果,其中我們的硬體設定進行了以下比較:

  • 美光(Micron)DDR5 128GB DIMM 搭配第五代 AMD EPYC 處理器(代號 Turin)
  • 美光(Micron)DDR5 96GB DIMM 搭配第四代 AMD EPYC 處理器(代號 Genoa)

我們的測試表明,具有更高容量(128GB)和頻寬(高達 8000 MT/s)的美光(Micron)DDR5 RDIMM 提升了 SVM、SAP SD 和 Redis IMDB 的效能。

硬體和系統設定


系統架構的詳細資訊如下表所示。我們比較了兩個系統,在本部落格中標示為 A 和 B。系統 A 由第四代 AMD EPYC 處理器(96 核心)和美光(Micron)96GB DDR5 DIMM 組成,系統 B 為第五代 AMD EPYC 處理器(128 核心)和美光(Micron)128GB DDR5 DIMM 的組合。兩個系統皆支援 12GB/核心配置,其中 128 核心 CPU 擁有 128GB 和 12 個記憶體通道,96 核心 CPU 擁有 96GB 和 12 個記憶體通道。

 

  系統 A 系統 B
硬體 第四代 AMD EPYC™ 處理器(代號 Genoa) 第五代 AMD EPYC™ 處理器(代號 Turin)
記憶體

Micron 96GB DDR5 4800 MT/s

雙面,12 通道

Micron 128GB DDR5 6400 MT/s

雙面,12 通道

CPU 雙插槽 AMD EPYC 9654(96 核心) 雙插槽 AMD EPYC(128 核心)
儲存裝置(SVM 專用) Micron 9400 8TB(3) Micron 9400 8TB(3)


AI/ML 支援向量機(SVM)


SVM 是一種機器學習演算法,廣泛用於預處理雲端中部署的許多資料科學服務的資料集。在我們的測試中,我們使用 2TB 資料集和 Intel Hi-Bench 架構及 SparkML 引擎進行資料處理。

更快的執行時間

對於 SVM,系統 B 的執行時間比系統 A 快 30%,主要原因是 128GB 記憶體模組提供更高的容量和頻寬,系統 B 的處理器核心數更多,以及有效的頻寬使用。

系統 A(96GB DDR5)和系統 B(128GB DDR5)的執行時間


更高的頻寬使用率

我們的結果顯示,由於更快的記憶體時脈(6400 MT/s 對比 4800 MT/s),以及第五代 128 核心 AMD EPYC 處理器帶來的額外 Zen5 核心,系統 B 的 SVM 的頻寬使用率比系統 A 高 1.3 倍。1
 

系統 A(96GB DDR5)和系統 B(128GB DDR5)的記憶體頻寬使用率


系統 B 的容量更高(128GB 對比 96GB),可讓 SVM 在記憶體中儲存更多資料,將儲存輸入/輸出降至最低。我們將兩種配置的每核心記憶體容量固定為 12GB/核心。這種方法使我們能夠隔離額外運算能力和增加的時脈速度(記憶體)對基準配置(系統 A)的影響。

Redis


Redis 是一種快速記憶體內建資料庫(IMBD),用於為需要低延遲的應用程式儲存和存取資料。Memtier 使用大量 set:get 操作,模擬多執行緒和多用戶端執行模型,對 Redis 進行基準測試。
 

系統 A(96GB DDR5)和系統 B(128GB DDR5)的吞吐量效能


在系統 B(128GB 和 128 核心)上執行 Redis 時,速度提升了 1.2 倍。2此外,同樣的組合可將平均延遲降低 30%,p99 延遲降低 60%。相較於前幾代的 AMD EPYC 處理器,更高的核心數(例如第五代的 128 核心)可以更妥善地利用美光(Micron)128GB DIMM 的更高容量和頻寬。額外的核心可增加吞吐量,讓企業資料中心有效服務更多使用者。

系統 A(96GB DDR5)和系統 B(128GB DDR5)的平均讀取和 p99 延遲


SAP 銷售和配銷(SAP SD)


系統應用程式與產品(SAP)是一套廣泛使用的企業資源規劃(ERP)軟體。它由多個子元件組成,是 SAP 生態系統的一部分。該組件包含 SAP 銷售和配銷(SAP SD)的所有作業和流程,使用 Dell PowerEdge R6725 伺服器進行基準測試,並配備 Micron DDR5 128GB RDIMM 和第五代 AMD EPYC 處理器,在雙插槽系統上創下 SAP SD 基準測試 201,000 名使用者的新效能世界紀錄。這比最佳的六插槽得分還要高。較高的基準測試使用者數量顯示出在資料庫使用個案中,Dell PowerEdge 伺服器使用美光(Micron)記憶體與第五代 AMD EPYC 處理器具有效能優勢。詳情請參閱 戴爾的部落格


資料中心的 AI


高容量記憶體以及高記憶體頻寬和低延遲,是資料中心基礎架構有效處理 AI、機器學習、資料分析和 IMDB 應用所特有的運算複雜性、大型模型和龐大資料集的關鍵。正如我們的工作負載結果所示,美光(Micron)DDR5 128GB 記憶體模組與第五代 AMD EPYC 處理器結合,為這些環境提供了強大的解決方案。

如果您正在升級企業或 AI 基礎架構或 HPC 環境並希望找到合適的 DDR5 配置,請聯絡美光業務據點

Fellow of Systems Design Engineering

Sudharshan Vazhkudai

Dr. Sudharshan S. Vazhkudai is a fellow of systems design engineering at Micron Technology. Here he established the Data Center & Client Workload Engineering team, which brings an end-to-end systems perspective in understanding how deep-memory hierarchy is used to create modern system architectures optimized for workloads. Prior to this, for over two decades, he worked at Oak Ridge National Lab, building data center solutions. Dr. Vazhkudai holds a Ph.D. in computer science from the University of Mississippi and has also served as a joint faculty at the University of Tennessee.

Sr. Systems Performance Engineer

Sarthak Thakkar

Sarthak Thakkar is a senior systems performance engineer at Micron, focusing on bottleneck analysis and fine-tuning of data center workloads for emerging memory technologies (high-capacity DIMMs, CXL and enterprise RDIMMs). His area of focus has been database architectures and HPC kernels.

Staff Systems Design Engineer

Muktikanta Sa

Dr. Muktikanta Sa is a staff systems design engineer at Micron Technology. He is focusing on system performance and workload engineering on high-capacity DIMMs, especially in Redis in-memory database and e-commerce spaces. Dr. Sa holds a Ph.D. in computer science and engineering from the Indian Institute of Technology, Hyderabad.