從物件式資料儲存中捨棄 HDD：與美光 6500 ION 共襄盛舉

Ceph 通常被部署為物件式儲存，適用於 Bluestore 的使用少量 NVMe 的 HDD 儲存（中繼資料 + 預先寫入記錄）。美光最近完成了一項全 NVMe Ceph 配置測試，美光 6500 ION 作為資料和 Bluestore 的儲存空間。雖然相較於 Solidigm P5316，6500 ION 的效能令人信服，但我們也希望瞭解採用 HDD + NVMe 的更常見 Ceph 部署與採用美光 6500 ION 的 Ceph 部署之間的效能差異。

一家大型 HDD 供應商發佈了技術簡介，其中詳細介紹了使用 12 個 12TB 3.5 吋 SATA HDD 和一個適用於 Bluestore 的 NVMe 附加卡 SSD 的 4 節點叢集中的 Ceph 效能。兩種解決方案均使用 Ceph 工具 RADOS Bench 進行測試，該工具用於測量用戶端或 S3 閘道的物件吞吐量。本報告中詳述了一些架構差異，但即使是將這些差異納入考量，美光 6500 ION 的 Ceph 配置以及 HDD + NVMe 的 Ceph 配置之間的差異也相當顯著。

效能

• 美光 6500 ION Ceph 配置顯示讀取效能的 11 倍，寫入效能的 27 倍。

• HDD + NVMe Ceph 的讀取延遲高出八倍，寫入延遲高出 37 倍。

• 美光 6500 ION 型 Ceph 叢集在每 TB 可用時效能更高，每 TB 讀取效能是其四倍，每 TB 寫入效能是其十倍。

功耗效率

• 美光 6500 ION 型 Ceph 擁有兩倍的儲存功耗效率（每 TB 或 W/TB 的瓦數），而讀取功耗/吞吐量則高出 16 倍，寫入功耗/吞吐量則高出 46 倍。

成本

• 兩個解決方案的每種可用容量成本大約相等，因為 NVMe 儲存效能更高。在這個規模下，人員可以使用 4+2 清除編碼搭配全 NVMe 叢集，但是不建議對 HDD 執行相同操作，而是需要 3 倍的複寫。

• 需要 16 個 HDD + NVMe Ceph 節點才能與 6 個節點的美光 6500 ION Ceph 配置的可用容量相匹配（加入簡化公式來驗證聲明）。
• 還需要 68 個 HDD 節點才能符合 6 個節點的美光 6500 ION Ceph 讀取效能和 161 個 HDD 節點才能符合美光 6500 ION Ceph 配置寫入效能（加入簡化公式來驗證聲明）。

測試環境

*對於 NVMe 測試，4+2 刪除編碼顯示，相較於 3 倍複寫，讀取效能降低 15%，相較於 3 倍複寫，寫入效能增加 27%。請參閱以下美光技術簡介，瞭解更多詳情： 低延遲 NVMeTM SSD 解鎖高效能、容錯的 Ceph® 物件式儲存

詳細結果

由於 HDD + NVMe 測試使用更少的節點和 3 倍複寫，而不是 4+2 的清除編碼，我們希望透過考慮這些差異進行對比。

節點差異 （節點係數乘數）： 

• 我們將 HDD + NVMe 頻寬結果乘以 1.5，模擬 6 節點組態（假設線性效能擴充）

• 我們維持的平均延遲與 HDD 技術簡介中所報告的平均延遲相同。

資料保護差異 （資料保護倍數乘數）：

• 讀取效能：4+2 刪除編碼對叢集的讀取效能造成 15% 的懲罰。我們並未變更美光 6500 ION 測試的結果（增加），也沒有降低 HDD + NVMe 配置的效能數據。此方法將利用 HDD 組態。

• 寫入效能：在全 NVMe 測試中，相較於 3 倍複寫，4+2 清除編碼的效能提高了 27%。雖然我們不認為 HDD 可達到相同效能等級，但我們將 HDD 結果乘以 1.27 以考慮此潛在增長。此方法也會使 HDD 配置更具優勢。

美光測量了資料保護效能差異，詳情請見此處。

讀取和寫入效能

美光 6500 ION Ceph 配置的讀取效能為 11.5 倍，寫入效能為 27 倍。

延遲

HDD + NVMe Ceph 配置的讀取延遲是 6500 ION Ceph 配置的 8 倍，寫入延遲是 6500 ION Ceph 配置的 37 倍。

每 TB 的吞吐量

儲存效能和效率的衡量標準是每 TB 可用的效能量。在這裡，我們以 MB/s 為單位來衡量原始容量和可用容量的吞吐量。

在考慮可用磁碟容量時，美光 6500 ION SSD Ceph 配置的每 TB 讀取頻寬是其四倍，每 TB 寫入頻寬是其 13 倍。請注意，HDD + NVMe 配置中的 3 倍複寫將原始容量減少到三分之一 （576TB / 3 = 192TB），而美光 6500 ION Ceph 配置中的 4+2 刪除編碼將原始容量減少到六分之四 （1,152TB * 0.66 = 760TB）。

功耗

HDD 技術簡介顯示，12TB HDD 每部硬碟的容量為 7.25W，4 節點解決方案的儲存元件則為 348W。對於美光 6500 ION，我們測量了測試期間以 1.5GB/s 的速度讀取和以 1.2GB/s 的速度寫入的平均磁碟吞吐量，並在這些效能等級下計算每部硬碟的功耗。讀取結果為 10.1W，寫入結果為 10.6W。由於 HDD 只有一個電源消耗數字，因此我們選擇了較高的 10.6W 結果進行比較。

30TB 美光 6500 ION 使用 12TB HDD 每部硬碟 1.5 倍的功耗。由於容量差異，美光 6500 ION Ceph 解決方案每個節點使用 70% 的 HDD + NVMe 功耗。 

容量功耗效率 （W/TB）

功耗是儲存裝置解決方案中效率的良好衡量標準。HDD 簡報僅報告了 Ceph 解決方案的 HDD JBOD 部分的平均瞬間功耗，而不考慮 Ceph 儲存節點的 CPU、記憶體和網絡功耗。 

對於美光 6500 ION 配置，我們根據吞吐量計算每部硬碟的功耗：讀取時為 10.1W （1.2GB/s），寫入時為 10.6W （1.5GB/s）。

與儲存元件相比，美光 6500 ION Ceph 配置每 TB 使用略多於一半的功耗，顯示此 NVMe SSD 配置的功耗效率優於 HDD 配置。

效能功耗效率 （W/GBps）

另一個要檢查的功耗指標是功耗除以吞吐量，告訴我們解決方案在提供每 GBps 的效能時的功耗效率。在這裡，我們在美光 6500 ION 上繼續使用每部硬碟 10.1W 進行讀取，每部硬碟 10.6W 進行寫入，並在 12TB HDD 上繼續使用聲明的 7.25W 功耗。

在考慮功耗和效能時，HDD + NVMe 配置在讀取方面使用了 16 倍的功耗，在寫入方面則使用了 46 倍的功耗。

解決方案成本分析

使用全 NVMe Ceph 配置可在生產中使用清除編碼。對於 HDD，仍強烈建議使用 3 倍複寫。在考慮每個可用容量的成本時，美光 6500 ION 配置的成本與 HDD + NVMe 配置相同。

要匹配經過測試的 6 節點美光 6500 ION Ceph 配置的可用容量，需要 16 個 HDD + NVMe 節點。要匹配讀取效能，該人員需要 68 個 HDD + NVMe 節點。而且，若要匹配寫入效能，需要 161 個 HDD + NVMe 節點。 

結論

美光 6500 ION 非常適合 NVMe 支援的 Ceph 物件式儲存。與 HDD 上的 3 倍複寫相比，它在使用擦除編碼時與 HDD 實現了成本同位。

美光 6500 ION in Ceph 提供多項優勢：

• 比 HDD 效能更高
  • 寫入速度提高 27 倍，讀取效能提高 11 倍
  • 寫入速度降低 37 倍，讀取延遲降低 8 倍
  • 每個可用容量的寫入量提高 10 倍，讀取吞吐量提高 4 倍
• 比 HDD 更有效率
  • 每 TB 硬碟功耗的一半
  • 70% 的儲存系統功耗，未計美光 6500 ION 的更高效能
  • 每 GBps 的寫入功耗降低 46 倍，讀取功耗降低 16 倍
• 比 HDD 更具成本效益
  • 161 個 HDD + NVMe 節點可達到寫入效能，68 個節點可達到 6 個節點的美光 6500 ION Ceph 配置的讀取效能

最後一點是：隨著效能大幅提高，美光 6500 ION Ceph 配置可以快速處理請求，從而更快地返回閒置狀態。擁有更小的系統佔用空間、快速開始閒置的理念，以及美光 6500 ION 等符合成本效益的大容量 NVMe SDD，從物件式儲存中捨棄 HDD 終於變得合理。

© 2023 Micron Technology, Inc. 保留所有權利。所有提供之資訊皆以「現況」為基準，不提供任何形式的保固。產品僅保證符合美光的生產資料表規格。產品、計畫和規格若有變動，恕不另行通知。Micron Technology, Inc. 對於排版或影像的遺漏或錯誤概不負責。美光、美光標誌及其他所有美光商標皆為 Micron Technology, Inc. 資產。其他所有商標皆屬其各自擁有者所有。修訂版 A 01/2023 CCM004-676576390-11635