美光 9200 MAX 參考架構區塊效能

您為什麼只測試 2 倍複寫！？！

像我這樣的 SSD 使用者通常會使用 2 倍複寫測試 Ceph，原因如下：SSD 比陀螺更可靠，使用 2 倍複寫的效能更佳等。不過，如果您確實需要最低 3 倍複寫，該怎麼辦？ 這對我們超高速全 NVMe Ceph 參考架構的效能有何影響？ 我很感謝您提問。

本部落格簡要評述搭載美光速度最快的 NVMe 硬碟美光 9200 MAX (6.4TB) 的全新 Intel®  Purley Ceph RA 的效能。

我們的最新參考架構使用基於 Ceph Luminous (12.2.1) 的 Red Hat Ceph Storage 3.0。RA 測試僅限於 Filestore 效能，因為這是目前所支持的 RHCS 3.0 儲存引擎。

當將 2 倍複寫與 3 倍複寫進行比較時，效能受到的影響與預期完全一致。4KB 隨機寫入 IOPS 下降約 35%，讀取保持不變，而 70/30 IOPS 下降約 25%。

該解決方案已針對區塊效能最佳化。使用 Rados Block Driver 在 Linux 中進行隨機小區塊測試顯示，2 插槽儲存節點中的白金級 8168 Intel Purley 處理器達到飽和。

每個儲存節點有 10 個硬碟，此架構具有 232TB 的可用儲存容量，可透過新增額外的 1U 儲存節點來擴展。

參考設計——硬體

測試結果和分析

Ceph 測試方法

Ceph 使用 FileStore 進行配置，每個美光 9200MAX NVMe SSD 都具有 2 個物件儲存系統服務程式 (OSD)。每個 OSD 使用 20GB 的日誌。每個儲存節點有 10 個硬碟，每個硬碟有 2 個 OSD，Ceph 合共擁有 80 個 OSD，可用容量為 232TB。

所測試的 Ceph 集區以 8192 個放置組建立。Red Hat Ceph 3.0 中的 2 倍複寫集區使用 100 張每張 75GB 的 RBD 影像進行測試，在 2 倍複寫集區中提供 7.5TB 數據，數據總量為 15TB。

Red Hat Ceph 3.0 中的 3 倍複寫集區使用 100 張每張 50GB 的 RBD 影像進行測試，在 3 倍複寫集區中提供 5TB 數據，數據總量為 15TB。

使用 FIO 合成負載生成工具對 Rados Block Driver 量測 4KB 隨機區塊效能。

RBD FIO 4KB 隨機讀取效能

2 倍和 3 倍複寫集區之間的 4KB 隨機讀取效能基本相同。

RBD FIO 4KB 隨機寫入效能

與 2 倍複寫集區相比，3 倍複寫集區的 IOP 效能降低約 35%。平均延遲增加幅度相若。 

在 60 個 FIO 用戶端、363k IOP、5.3 毫秒 2 倍複寫集區平均延遲、237k IOPS、8.1 毫秒 3 倍複寫集區平均延遲的情況下，4KB 寫入效能實現 IOP 和延遲的最佳組合。此時，Ceph 儲存節點的平均 CPU 使用率超過 90%，因而限制了效能。 

RBD FIO 4KB 隨機 70% 讀取／30% 寫入效能

70/30 隨機讀取／寫入工作負載 IOP 效能從 2 倍複寫集區變成 3 倍複寫集區時降低 25%。讀取延遲相若，3 倍複寫集區微增。3 倍複寫集區的寫入延遲高出 50% 以上。

您希望深入瞭解嗎？

RHCS 3.0 + Intel Purley 平台上的美光 9200 MAX NVMe SSD 擁有超快速度。請瀏覽新發布的美光／Red Hat／Supermicro 參考架構。我將在 2018 年 OpenStack 峰會上展示我們的 RA 和其他 Ceph 調整與績效主題。精彩紛呈，敬請期待！

對我們的測試或方法有其他問題？ 請在下方留言，或傳送電子郵件至 ssd@micron.com。