提升 Ceph 區塊效能

透過 Rhel 7.5、Ceph Luminous 與美光 9200 Max NVMe SSD 增強 Ceph 區塊效能

大家好，

通常情況下，OS 或儲存解決方案的點式版本不太重要，但這次不同。我測試了 Red Hat Enterprise Linux 7.5 和 Ceph Luminous 12.2.5，這兩個版本都是我之前在 Bluestore 與 Filestore 效能對比部落格中提到的點式版本，結果發現區塊效能有了驚人的改善。

4KB 隨機寫入 IOPS 效能提升 12%，平均延遲降低 10%，99.99% 尾端延遲降低 24%。

4KB 隨機讀取 IOPS 與平均延遲相近，99.99% 尾端延遲降低 20% 至 43%。

該解決方案已針對區塊效能最佳化。使用 Rados Block Driver 在 Linux 中進行隨機小區塊測試顯示，2 插槽儲存節點中的白金級 8168 Intel Purley 處理器達到飽和。

該架構有 4 個儲存節點，每個儲存節點有 10 個硬碟，可用儲存容量為 232TB，可透過新增額外的 1U 儲存節點來擴展。

參考設計——硬體

測試結果和分析

Ceph 測試方法

Ceph Luminous（12.2.4 和 12.2.5）使用 Bluestore 配置，每個美光 9200 MAX NVMe SSD 有 2 個 OSD。RocksDB 和 WAL 資料作為資料儲存在同一分割區。

每個儲存節點有 10 個硬碟，每個硬碟有 2 個 OSD，合共有 80 個 OSD，可用容量為 232TB。

測試的 Ceph 儲存集區使用 8192 個放置組和 2 倍複寫建立。效能測試使用 100 張每張 75GB 的 RBD 影像，在 2 倍複製集區中提供 7.5TB 數據，數據總量為 15TB。

使用 FIO 對 Rados 區塊驅動器量測 4KB 隨機區塊效能。我們使用 10 台負載生成伺服器（Dual-CPU Xeons 搭載 50GbE 網絡），並在每台負載生成伺服器上執行多個 FIO 程序。每個 FIO 程序存取一個唯一的 RBD 影像，FIO 程序平均分佈在 10 台負載生成伺服器上。例如，在 100 個 FIO 用戶端測試中，每台負載生成伺服器使用 10 個 FIO 程序。

我們在所有測試中都受到 CPU 的限制，即使每個儲存節點有 2 個 Intel 8168 CPU。所有測試均執行 3 次，每次 10 分鐘，每次測試有 5 分鐘的啟動時間。

RBD FIO 4KB 隨機寫入效能：RHEL 7.4 + Ceph 12.2.4 對比 RHEL 7.5 + Ceph 12.2.5

RHEL 7.5 + Ceph Luminous 12.2.5 使 IOPS 提高了 12%，平均延遲降低了 10%。

RHEL 7.5 和 Ceph Luminous 12.2.5 改善了尾端延遲，在 100 個 FIO 用戶端上降低了 25%。

RBD FIO 4KB 隨機讀取效能：RHEL 7.4 + Ceph 12.2.4 對比 RHEL 7.5 + Ceph 12.2.5

RHEL 7.4 + Ceph Luminous 12.2.4 與 RHEL 7.5 + Ceph Luminous 12.2.5 的 4KB 隨機讀取效能相似。IOPS 略有增加，最高達到 223 萬 IOP。

RHEL 7.5 和 Ceph Luminous 12.2.5 改善了尾部延遲，佇列深度 16 時降低了 43%，佇列深度 32 時降低了 23%。

您希望深入瞭解嗎？

Intel Purley 平台上的 Ceph + 美光 9200 MAX NVMe SSD 擁有超快速度。美光加速 Ceph 儲存解決方案的最新參考架構現已發佈。我在 2018 年 OpenStack 峰會上詳細介紹了該參考架構以及其他 Ceph 調整與績效主題 我的會議錄音可在此處獲取。

對我們的測試或方法有其他問題？ 請傳送電子郵件至 ssd@micron.com。