儲存裝置

QLC 與 HDD:實際的 IO 分佈如何重塑儲存成本

史蒂夫‧赫茲勒

儲存裝置

工作負載產生 IO 大小的分佈,而非單一、統一的請求大小,此分佈對 QLC SSD 和 HDD 的相對效能及容量需求產生顯著影響。

在本兩部分部落格系列的第一部分,我們解釋了為何 IO 大小會改變 HDD 與 SSD 的經濟性。在第二部分,我將進一步闡述為何 QLC SSD(例如搭載 G9 QLC NAND美光 6600 ION SSD)的每 PB 可用容量成本優於 HDD,並能夠提供當今工作負載所需的 SSD 能效和效能。

在評估基於 QLC NAND 快閃記憶體與傳統硬碟 (HDD) 的儲存方案時,必須超越「每 TB 硬碟成本」這一基本指標。瞭解工作負載的 IO 大小分佈如何影響整體系統效能,可以發現成本會受到顯著影響。

讓我們先考慮一個類似物件型儲存的工作負載:總資料集為 10PB,每 TB 的總輸送量要求為 6MB/s,讀寫比為 65/35。此輸送量略低於 28TB HDD 支援的最大值(約為每 TB 6.2 MB/s)。乍看之下,採用 HDD 解決方案似乎已足夠。然而,資料存取模式的細節使這一結論值得商榷。為了具體說明這一點,我們首先分析具有代表性的物件型儲存工作負載的 IO 大小分佈。

圖 1. 範例工作負載的讀取和寫入 IO 大小直方圖。 圖 1. 範例工作負載的讀取和寫入 IO 大小直方圖。

(按一下圖片以放大)

工作負載 IO 直方圖:為什麼如此重要

圖 1 說明我們範例工作負載的讀取和寫入 IO 大小的分佈。作為 HDD 的物件型儲存,它主要以 4 MiB 的區塊寫入資料,以實現高輸送量。然而,讀取操作遵循對數常態分佈,峰值為 1 MiB,但受範圍讀取操作的影響,讀取量通常較小(較大的寫入區塊大小通常會導致小物件被打包)。這些較小的讀取和寫入操作會顯著影響儲存裝置效能,特別是對於 HDD 而言,因為 HDD 在處理小尺寸 IO 時效率較低。

由於 HDD 在處理小尺寸 IO 時效能會急劇下降,因此通常採用寫入快取來減少到達磁碟的小規模寫入操作次數。寫入快取常被用於減輕小規模寫入操作的影響。在我們的範例中,假設快取吸收了 128 KiB 及以下大小的所有寫入 I/O 操作。這意味著只有較大規模的寫入操作才會到達磁碟本身。在讀取端,並非所有小規模讀取操作都能命中快取中的資料;我們假設快取命中率為 75%。

圖 2. 啟用寫入快取後的磁碟 IO 直方圖。 圖 2. 啟用寫入快取後的磁碟 IO 直方圖。

(按一下圖片以放大)

如圖 2 所示,套用寫入快取會改變磁碟所面臨的工作負載。HDD 中已消除了相當一部分的小尺寸 IO。即使剩餘的少量小規模讀取操作,也可能成為 HDD 的效能瓶頸。

圖 3. 實現讀寫混合工作負載直方圖輸送量所需的累積 PB。 圖 3. 實現讀寫混合工作負載直方圖輸送量所需的累積 PB。

(按一下圖片以放大)

滿足工作負載直方圖所需的容量

基於每個裝置所面臨的有效 IO 直方圖,下一步是確定維持該工作負載輸送量所需的物理容量。下一步是計算滿足這些需求所需的物理儲存容量。對於 HDD,我們使用淨 IO 直方圖(快取後)進行此計算。另一方面,QLC 快閃記憶體處理小尺寸 I/O 的效率更高,因此我們直接使用未經調整的原始直方圖。這一區別至關重要:QLC 能夠為小尺寸 I/O 提供更高的輸送量,這意味著對於以小規模讀寫為主的工作負載,所需硬碟數量更少,整體系統成本也更低。表 1 總結了滿足同一工作負載的資料容量和 IO 輸送量所需的硬碟數量。

圖 3 顯示了在每種 I/O 大小下實現該輸送量所需的累積 PB,該資料根據 IO 直方圖和 1MB/s 曲線對應的 TB 值計算得出。10PB 工作負載的資料需求以紅線表示,而 28TB HDD 已超過該需求。

QLC 效能和成本優勢

您可以清楚地看到,QLC 只需更小的容量即可提供相同的 IO。在此情況下,我們的 10,000 TB 系統需要:

硬碟類型用於儲存資料的硬碟用於 IO 的硬碟用於 IO 的硬碟占比(%)瓦特瓦特/資料 PB
28TB HDD357458128%3,890389
245 TB QLC411537%1,230123

儘管此處的整體輸送量密度為 6 MB/s/TB,但若使用 28 TB 硬碟實現這一指標,所需 HDD 數量將增加 28%,且仍僅能提供 10,000 TB 的可用空間。

然而,QLC 僅使用約 37% 的可用效能和 32% 的 HDD 功耗。因此,如果 QLC 的每 TB 成本是 HDD 的 4 倍,則 HDD 容量增加 1.28 倍後,該倍數將降至 3.1 倍(未考慮其他因素)。

結論

IO 大小分佈決定了實際的儲存需求。

在此範例中,QLC SSD 的功耗約為 HDD 範例的三分之一:1,230 瓦對比 3,890 瓦。除了這一功耗差異外,HDD 還需要多出 28% 的物理硬碟才能滿足 IO 要求,而 QLC 在滿足相同工作負載要求的同時還留有餘量。

這改變了成本和價值的比較。

對於包含大量小尺寸 IO 內容的物件型工作負載,僅憑原始儲存介質的 $/TB 指標無法全面反映已部署系統的實際情況。按可用 PB 計算的成本是更合適的比較指標,因為它反映了滿足工作負載所需的硬碟、功耗和效能。

以此標準衡量,QLC 與 HDD 的差距可能比最初的 $/TB 比較所顯示的要小。

美光儲存解決方案架構師

Steve Hetzler

Steve Hetzler 是美光的儲存解決方案架構師,是公認的發明家和系統架構師,在超大規模、企業和研究環境中擁有超過 100 項專利。在加入美光之前,Steve 曾在 Meta 和 IBM Research 擔任技術主管,並擁有加州理工學院應用物理博士學位。

Headshot of Steve Hetzler

相關部落格