技術更新換代是耳熟能詳的故事——新舊火炬的交替。舉例來說，蒸汽機被內燃機取代，笨重的電子管顯示器黯然退場，取而代之的是時尚的 LCD 螢幕。我最關心的技術交替是筆記型電腦中的固態硬碟 (SSD) 幾乎完全取代傳統硬碟 (HDD)。
我從事快閃記憶體和基於快閃記憶體的 SSD 架構和研發工作已有三十多年，對儲存技術的轉變非常瞭解。我見證了 SSD 的關鍵轉變——從 NOR 到 NAND，從每單元一位元 (SLC) 到每單元多位元（MLC、TLC、PLC 等），從 SATA 到 PCIe/NVMe，以及從 2.5 吋 HDD 規格尺寸到 M.2 和 EDSFF 等專用 SSD 規格尺寸的轉變。每項轉變都對整個產業產生重大影響，並推動我們向前邁進。
一個始終存在的突出問題是：SSD 的成本效益何時能超過 HDD，並完全取代 HDD？根據 IDC 的資料1，與容量最佳化的 HDD（主要是 20TB 3.5 吋）相比，2023 年出貨至資料中心的以 PB 計算的硬碟中約有 13% 是快閃記憶體 SSD（主要是 TLC）。SSD 的每 TB 美元年均複合增長率約為 17%，而容量最佳化的 HDD 的年均複合增長率為 8.5%，因此可以預測 10-15 年後會出現理論上的交叉。
在本部落格中，我將探討一個更值得提出的問題，並對資料儲存的未來做出預測。我將以 Currie Munce 最近發表的一篇美光部落格2 為基礎，討論一個超大規模資料中心從嚴格基於 HDD 的暖層檔案系統進行過渡的經驗，以及 AI 對他們和解決方案（包括作為分層快取層的 SSD）的影響。
從 Meta 暖層過渡到由 AI 驅動的 SSD/HDD 複合解決方案
2021 年，Meta 在 Usenix 檔案和儲存技術大會上展示了 Tectonic 檔案系統3。這一創新系統將低延遲、以 IOPS 為優先並可按要求快速配置 HDD 的小尺寸 blob 儲存裝置，與資料倉儲相結合，可提供以容量為優先的 HDD。Tectonic 作為統一的艾位元組級系統運作，由數千個儲存節點組成，每個機架裝有 72 個 3.5 吋 HDD。儲存節點基於容量最佳化的 3.5 吋 HDD。
一切都很順利，直到 AI 對儲存裝置的需求急劇增加，使得其線上攝取頻寬在大約一年的時間裡增加了四倍！這超過了 100% HDD 解決方案的峰值 I/O 需求。
圖 1：由於 AI 的爆炸式增長，Meta 的頻寬需求在 4 個季度內增長了 4 倍
如果繼續使用純 HDD 的暖層，則需要為 I/O 大量超額配置硬碟，最終導致專用儲存容量過剩，成本和功耗過高。他們將上述方案與使用 100% SSD 替換暖層或採用 HDD 和 SSD 複合解決方案的選項進行了比較。Meta 發佈的下表說明了他們所面臨的挑戰：僅使用 HDD 會出現嚴重的超額配置，僅在當前容量下使用 SSD 進行替換的困難度很高，而 HDD 和快閃記憶體的複合儲存解決方案則能實現理想的平衡。
表 1：假設儲存容量和 IO 需求分別為 100 PB 和 10 TB/s，HDD、快閃記憶體和理想複合叢集的儲存功耗要求。Meta 顯示了滿足僅儲存、僅頻寬和兩種要求所需的功耗，並規範化為 HDD 僅儲存。4
建構正確的儲存快取
修訂後的暖層解決方案被命名為 Tectonic-Shift。它包括一個對應用透明的 TLC 快取記憶體，支援已在暖層中的 HDD。在 ACM '234 發表的文章中，有許多關於作者如何在詳細分析 AI 軌跡及其獨特特性後選擇快取政策，以及如何在插入與驅逐政策之間做出正確的取捨，並在暖層快取記憶體中的 SSD 的效能、成本與耐用性之間進行權衡的討論。
由於 AI 工作負載的激增，Meta 基於 HDD 的 Tectonic-Shift 系統插入了 SSD 快取層，從而吸收了增加的工作負載。
圖 2：將 Shift 與僅接受 IO 繁重資料表的專家手動調優策略進行比較的生產結果。
超越 AI 的複合式 SSD+HDD。展望未來。
關鍵的權衡不僅在於實現合適的儲存密度，還在於確保該密度具有合適的 I/O 效能。正如 Currie Munce 之前在部落格中所討論的，效能除以密度是一個值得考慮的實用指標。讓我們舉例說明：在「Facebook 的 Tectonic 檔案系統：百萬兆級的效率」一文中，作者提出了一個複合叢集，需要以每秒 10 TB 的峰值速率執行 100 PB。這意味著在峰值效能下，儲存吞吐密度約為每 TB 每秒 100 MB（MB/s/TB）。不過，不同工作負載的平均要求有所不同。對於 AI 工作負載，建議的平均儲存密度約為 20 MB/s/TB，而物件儲存的執行速度通常約為 5 MB/s/TB。另一方面，Blob 儲存則徘徊在 2 MB/s/TB 左右2
在不斷發展的資料儲存領域，平衡效能和密度變得至關重要。
美光 6500 ION 專為暖層而生
雖然 HDD 的密度年複合增長率令人印象深刻，但其效能卻近乎持平。因此，每 TB 每秒百萬位元組 (MB/s/TB) 會隨著每一代產品的推出而降低。美光認為，與 HDD 超額配置相比，透過進一步 SSD 分層可以解決該問題。SSD 將取代暖層中的 HDD。HDD 將繼續服務於低溫層／冷層。
因此，正確的問題是：
「SSD 何時才能在資料中心中真正取代（而不是替代）HDD？」
答案是：
「它們已經取代了！」
這正是美光研發並推出美光 6500 ION SSD 的原因。這款屢獲殊榮的 SSD 透過高吞吐密度、功耗效率和低延遲，最佳化了分層儲存解決方案的總體擁有成本 (TCO)。
在可預見的未來，它將成為 HDD 的補充層，而不是 HDD 的替代品。
參考資料
1 IDC，《2023-2027 年全球固態硬碟預測更新，2023 年 12 月》|文件編號：US50021623；IDC，《2023-2027 年全球硬碟預測更新，2023 年 12 月》|文件編號：US51423423
2 SSD 與 HDD——「是敵是友」
3Tectonic 檔案系統：整合儲存基礎架構——Meta 工程 （fb.com）
4 Tectonic-Shift：用於大規模 ML 訓練的複合儲存結構 | USENIX
