比較 BlueStore 和 FileStore 區塊效能

Ceph BlueStore 與 FileStore：利用美光 NVMe SSD 時的區塊效能比較

BlueStore 是 Ceph 的新儲存引擎，也是社群版的預設配置。我們當前的美光加速 Ceph 儲存解決方案參考架構不包括 BlueStore 效能資料，因為 Red Hat Ceph 3.0 目前不支援 BlueStore。我在 Ceph 參考架構硬體上針對社群版 Ceph Luminous (12.2.4) 進行了效能測試，並將在本部落格中將測試結果與我們在 RHCS 3.0 中實現的 FileStore 效能進行比較。

4KB 隨機寫入 IOPS 效能提升 18%，平均延遲降低 15%，99.99% 尾端延遲最多降低 80%。使用 BlueStore 時，佇列深度越高，4KB 隨機讀取效能越好。

該解決方案已針對區塊效能最佳化。使用 Rados Block Driver 在 Linux 中進行隨機小區塊測試顯示，2 插槽儲存節點中的白金級 8168 Intel Purley 處理器達到飽和。

每個儲存節點有 10 個硬碟，此架構具有 232TB 的可用儲存容量，可透過新增額外的 1U 儲存節點來擴展。

參考設計——硬體

測試結果和分析

Ceph 測試方法

Red Hat Ceph Storage 3.0 (12.2.1) 採用 FileStore 配置，每個美光 9200MAX NVMe SSD 有 2 個 OSD。每個 OSD 使用 20GB 的日誌。

Ceph Luminous Community (12.2.4) 採用 BlueStore 配置，每個美光 9200MAX NVMe SSD 有 2 個 OSD。RocksDB 和 WAL 資料作為資料儲存在同一分割區。

在這兩種配置中，每個儲存節點有 10 個硬碟，每個硬碟有 2 個 OSD，合共擁有 80 個 OSD，可用容量為 232TB。

測試的 Ceph 儲存集區使用 8192 個放置組和 2 倍複寫建立。效能測試使用 100 張每張 75GB 的 RBD 影像，在 2 倍複製集區中提供 7.5TB 數據，數據總量為 15TB。

使用 FIO 對 Rados 區塊驅動器量測 4KB 隨機區塊效能。我們在所有測試中都受到 CPU 的限制，即使每個儲存節點有 2 個 Intel 8168 CPU。

RBD FIO 4KB 隨機寫入效能：FileStore 與 BlueStore

BlueStore 的 IOPS 提高約 18%，平均延遲降低約 15%。

使用 BlueStore 的 FIO 用戶端數較高時，Ceph 的尾端延遲也有大幅降低。在 100 個用戶端時，尾端延遲降低了 4.3 倍。用戶端數較少時，BlueStore 的尾端延遲會高於 FileStore，因為 BlueStore 正在推高效能。

RBD FIO 4KB 隨機讀取

FileStore 和 BlueStore 的 4KB 隨機讀取效能相似。佇列深度為 32 時，IOPS 增加 5%。

在佇列深度 32 以內，尾端延遲也很相似，而 BlueStore 的表現更好。

您希望深入瞭解嗎？

RHCS 3.0 + Intel Purley 平台上的美光 9200 MAX NVMe SSD 擁有超快速度。美光加速 Ceph 儲存解決方案的最新參考架構現已發佈。我的下一篇部落格文章將討論 FileStore 與 BlueStore 在物件效能方面的對比。我在 2018 年 OpenStack 峰會上詳細介紹了該參考架構以及其他 Ceph 調整與績效主題 我的會議錄音可在此處獲取。

對我們的測試或方法有其他問題？ 請傳送電子郵件至 ssd@micron.com。