設計工具
AI

利用主機輔助最佳化儲存裝置,打造未來的 AI PC

Prasad Alluri | 2024 年 10 月

在快速發展的運算領域,AI 驅動的 PC 正在徹底改變我們與技術的互動方式。這些智慧系統不只是更快的處理速度或更智慧的算法,它們正在從根本上改變我們管理和儲存資料的方式。

有了 AI PC,資料放置的重要性從未像現在這樣重要。這些系統中的進階儲存功能不僅能確保資料有效率地儲存,還能確保以提高效能和安全性的方式存取和使用資料。隨著我們進入 AI 驅動的運算時代,瞭解在何處以及如何放置使用者資料已成為充分發揮這些先進機器潛力的關鍵因素。SSD 是儲存 PC 資料的主要裝置,使用 SSD,我們有很大機會在執行 AI 應用程式時提升使用者體驗。

SSD 目前無法識別哪些資料對使用者或系統最重要。這會造成很大的局限性,尤其是在我們邁向需要對 AI 資料進行優先排序的未來時。AI 至關重要,因為本身通常涉及即時處理和決策,這就需要快速存取最相關的資料。以相同的方式處理所有資料——就像當前的架構(如 LRU(最近最少使用)資料結構)所做的那樣——會導致效率低下和效能降低。

隨著裝置上 AI 的重要性與日俱增,我們需要給予 AI 和其他資料密集型應用所需的資料更高的優先級。為此,SSD 需要主機提供額外資訊,標記哪些資料(如 AI)最重要(稱為主機輔助)。反過來,SSD 可以將資料以最短的存取時間放入其低延遲快取中。例如,我們自己的內部測試顯示,當我們使用主機輔助功能時,模型載入時間最多可縮短 80%。終端裝置的 AI(On-device AI)在執行時會有許多較小的模型駐留在儲存裝置中,這類 AI 需要按需載入特定的模型。(我在之前的部落格:「PC 中的 AI :為什麼不呢?」談到過這個問題 | Micron Technology Inc.

模型載入時間與確定 SSD 和主機輔助可實現的改進相關。接受主機的輔助有許多不同的方法。美光(Micron)與 Microsoft 合作推出多項改進,協助 SSD 瞭解哪些資料最重要。其中一些方法還可增強 SSD 的可靠性。

  • 時間戳功能為 SSD 提供了世界時間參考點。作業系統為 SSD 提供了更多真實世界時間的實例。這有助於 SSD 更準確地追蹤資料年齡,進而提高可靠性。透過瞭解資料的確切年限,SSD 可以做出優先處理哪些資料以及丟棄哪些資料的更明智決定。有了時間戳,SSD 可以更有效地管理內部快取,使最近存取的資料隨時可用,減少延遲並提高響應速度。時間戳還有助於識別舊的或未使用的資料,使其在垃圾回收過程中更容易成為刪除目標。此過程可釋放空間,保持最佳寫入速度。此外,時間戳允許在硬碟上均勻分配寫入週期,進而延長 SSD 的使用壽命,確保效能穩定。

  • 主機記憶體緩衝(HMB)功能可讓 SSD 單獨存取系統 DRAM 的一部分,以滿足其需求。增加 HMB 允許 SSD 為資料和資料屬性提供更多緩衝空間。這將帶來更大的 FTL(快閃記憶體轉換層)表,進而實現更有效率的資料對映並減少 SSD 誤差。有了更大的緩衝,SSD 可以更有效地快取重要資料,進而加快存取速度,提高效能。利用系統的 DRAM 作為快取,HMB 大大縮短了存取資料所需的時間,並透過縮短時間加快讀寫操作。此外,資料傳輸也更加有效率,進而提高了系統效能。由於緩衝空間建立在系統記憶體中,因此在提高效能的同時不會增加任何成本和功耗。
主機記憶體緩衝與主機 PC 協同工作
  • 主機系統可以向 SSD 傳送額外的讀取寫入指令元資料。此元資料稱為資料提示,可讓 SSD 瞭解資料的使用模式(例如,頻繁讀取)。透過瞭解使用模式,SSD 可以利用這些提示對資料進行優先排序,確保以最快速度存取資料。元資料還可以包含預期壽命或存取模式等提示。這些提示可以讓 SSD 更有效地管理資料位置,減少寫入放大並提高整體效能。
Windows 作業系統中的資料提示流程


Microsoft 的 Scott Lee 在 2024 年 8 月的 FMS 會議上宣布,這些增強功能將整合到即將推出的 Windows 作業系統版本中。透過與 Microsoft 合作,美光(Micron)正在開闢未來 SSD 最佳效能之路。

VP and GM for Client Storage at SBU

Prasad Alluri

Prasad Alluri is the vice president and general manager for Client Storage in the Storage Business Unit. Prior, he was our vice president of Corporate Strategy & Incubations. He has worked for Micron and Intel, where he held various positions in product development, product planning and strategy. Prasad obtained his bachelor’s from the Indian Institute of Technology (Bombay), a Ph.D. from Arizona State University, and an MBA from Wharton School of Business. Outside work, Prasad enjoys playing poker and hiking.

Prasad Alluri