參加今年在加州聖塔克拉拉舉行的「2024 未來記憶體和儲存裝置」（FMS 2024）大會的所有人都被鋪天蓋地的大容量 SSD 宣傳所淹沒。就在一年前，許多客戶還認為 64TB 的容量過大。在 FMS 2024 大會的多個展示會和展臺上，未來幾年的 SSD 產品藍圖顯示 SSD 的容量最高可達 128TB 和 256TB。為什麼會出現這種突然的變化？ 在經歷了去年艱難的財務期後，快閃記憶體產業是否集體失去了理智？ 發生了什麼事？
一定有原因
快速轉變的原因與當今 IT 產業發生的許多其他變化一樣——生成式 AI 的爆炸性崛起。儲存裝置產業一直存在一種傳言，說有一天硬碟會因為速度太慢而被快速、廉價的 SSD 所取代。我們面臨的挑戰是，HDD 價格低廉，而且聰明的儲存軟體開發人員總能找到方法，從中榨取足夠的效能。
這種情況直到快速消耗大量資料進行訓練的大型 GPU 叢集的出現才有所改變。呈指數增長的大型語言模型（LLM）需要越來越多的資料進行訓練。GPU 處理資料的速度比傳統 CPU 更快。即使使用者嘗試在數千個 HDD 上對資料進行條帶化處理，HDD 也難以跟上資料量的大幅增長。這樣做的功耗和空間要求太高了。
為什麼不將 SSD 放在 GPU 附近以提高速度，而使用 HDD 來儲存大量資料呢？ 生成式 AI 是一種工作流程，而不僅僅是一種應用。這個過程包括擷取、整理、格式化用於訓練的資料，將其反覆送入 GPU，並定期進行檢查點設置以避免重啟。公共 LLM 需要根據使用者資料進行最佳化和微調，推論過程中的檢索增強生成（RAG）需要快速存取特定於應用程式的資料。在不同的儲存系統之間移動資料既複雜又昂貴，而且功耗效率低，會分散研發更好的模型和利用現有模型的專注力。
這就是大容量、低成本 SSD 的用武之地。在運算系統中，SSD 的效能通常以 IOPS（每秒讀寫次數）來衡量。對於儲存系統，裝置效能以單位容量吞吐量（MB/s / TB）來衡量。對於大型 GPU 訓練叢集，每 TB 儲存容量對系統頻寬的要求可高達 100 MB/s。這些大型儲存系統（用於儲存多模態模型的文字、影像和視訊）需要的系統容量從 PB 到 EB 不等，因此需要數百到數萬個獨立硬碟。
SSD 的頻寬是 HDD 的 50 倍，因此只需較少的 SDD 就能實現與大量 HDD 相同的系統吞吐量。較少的數量意味著 SSD 需要比 HDD 更大的容量來滿足系統容量要求。那麼，到底需要多大的容量？
這取決於效能要求和網路頻寬。這些儲存系統通常透過超高速網路與 GPU 叢集相連，但這些網路的總頻寬仍遠遠低於 SSD 的總頻寬。對於最大的 GPU 叢集（要求高達 100 MB/秒/TB），64 TB 的容量通常已是極限。有些使用者希望將容量擴充至 128 TB，甚至 256 TB，因為這些 SSD 可用於較小的叢集或效能需求較低的系統。
鑑於網路系統中的 SSD 不會以最高速度運作，因此其耗電量遠低於標準運算應用程式。此外，由於速度和高寫入週期支援不是最重要的因素，因此在設計上會作出妥協，以降低相對於傳統主流運算 SSD 的成本。
最重要的原因
儲存系統的硬碟和儲存伺服器數量更少，能耗更低，機架數量更少，可靠性更高，使用壽命更長，延遲特性更好，GPU 等待資料的空閒時間更短，而且與混合使用 SSD 和 HDD 相比，全部使用 SSD 更易於管理。
未來發展方向
大型 GPU 叢集和 GPU 即服務雲端提供商正在選擇大容量、低成本的 SSD 來滿足他們的儲存需求。與 HDD 相比，SSD 在效能、功耗和容量上更具優勢，這些初始應用已證明 SSD 較高的成本是合理的。隨著 HDD 的 MB/s / TB 速度越來越慢，預計其他高效能用例將在未來幾年內轉向 SSD。價格便宜固然好，但如果使用者達到滿足其效能要求，CPU、GPU 和其他加速器的閒置將導致耗電量和系統成本的增加。
我們早已熟悉儲存裝置與記憶體的層級結構，並不斷利用新技術對其進行更新，調整金字塔中各個區塊之間的界限。美光現在為金字塔引入了新的區塊——大容量 SSD，以確認這種新型 SSD 的新角色，即在平衡效能、功耗和成本的同時，滿足需要大容量的儲存應用的需求。
圖 1：顯示 SSD 如何融入儲存裝置和記憶體層級結構的金字塔圖
欲詳細瞭解美光在這一新資料中心領域的產品，請參閱：美光 6500 ION NVMe SSD
