AI 和機器學習需要高效能儲存裝置

人工智慧和機器學習（AI/ML）多年來一直是學術界、地球科學和政府行業的技術支柱，如今作為商業企業的實用推進器，正迅速成為主流。瞭解 AI/ML 的工作原理以及這種新運算功能需要應對的挑戰，將決定誰能最大限度地實現投資價值。在本篇部落格和後續部落格中，我將重點介紹我們認為需要克服的關鍵障礙，以及美光如何幫助您作為商業企業開始 AI/ML 之旅。

概括地說，AI/ML 的工作流程由四個主要部分組成（見圖）：攝取、轉換、訓練和生產／執行。在本部落格中，我將討論部署 AI／ML 解決方案的攝取和轉換階段。

資料攝取和轉換過程是 AI 系統能否快速提供價值的最重要步驟之一。在許多 AI 解決方案中，這些步驟佔整個 AI 執行過程的比例高達 80%，並且最近成為資料科學的主要側重點。為了更好地理解為什麼會出現這種情況，我們有必要逐一詳細瞭解這些步驟。

攝取

攝取的意思正如其字面所說的。我們必須從各種來源收集資料——許多資料在格式上互不相容——並透過轉換過程將其轉換為可用形式以進行儲存，最後用於訓練系統。訓練過程是讓 AI 在現實世界變得「聰明」和有用的關鍵。AI 流程以及這些流程提供的答案都依賴於巨量資料。儲存解決方案必須速度夠快，否則資料可能需要耗費大量時間進行轉換才能使用。在攝取過程中，相對於儲存庫，資料移動為 100% 寫入，但通常是「一次寫入」。攝取資料的大小可能各不相同，通常採用非結構化對象或檔案形式，如視訊、影像、文件或對話記錄等，而且通常位於不同的資料湖和其他資料來源。正是由於資料格式的這種多變性，才需要接下來的轉換過程。攝取過程依賴於兩個主要組件：高速（高頻寬）網路連線和大型快速資料儲存庫……我說的大型是指巨大！雖然我們需要大容量儲存裝置來收集這些資料，但更重要的是儲存解決方案必須足夠快。

轉換

轉換過程是構成 AI 解決方案的三個迭代過程中的第一個，並很可能是對 AI 研發影響最大的過程。由於攝取的資料很可能有各種不同的大小和格式，因此必須將資料規範化為單一格式，便於後續訓練過程使用。在大多數 AI 解決方案中，這一轉換過程產生的格式將支援所選的訓練和生產引擎。如今，這類格式通常是開放原始碼（TensorFlow™）或其他 AI 框架。

將資料轉換為這種標準格式需要一個迭代過程。這一過程分為三個主要步驟：準備轉換資料、將資料轉換為目標格式（如 TensorFlow 資料格式）以及評估生成的格式化資料以識別不可用的記錄。每個資料集都要重複這些步驟，直至以所需的目標資料格式正確寫入所有資料。

資料轉換的速度取決於每個運算節點所安裝記憶體的數量和品質以及儲存解決方案的速度。這一階段的儲存裝置存取是多元的——與之前的攝取過程不同，需要對攝取的資料進行循序和隨機存取。這種讀寫比例會因使用的目標 AI 框架及其對用於訓練的標準資料格式的要求而不同。對於大多數轉換過程來說，最壞的情況是 50% 的讀取和 50% 的寫入，不過這在很大程度上取決於正在轉換的資料集。例如，在轉換資料對象時，每個對象都會被讀取，然後以目標格式寫入。如果您正分析會話資料時只提取資料文字並移除所有元資料，則您的讀取比例將達到 80%。

分析和結論

那麼，美光為什麼要討論 AI 解決方案呢？

首先，美光是先進記憶體和儲存裝置產品的主要製造商和供應商，我們的 SSD 是巨量資料快速、靈敏儲存的現行標準。美光提供各種非常適合 AI 使用的大容量、高效能 SSD，從我們為企業讀取密集型使用案例提供的成本效益最高的 SSD 解決方案——美光 5210 ION SSD（市場上首款以四層單元為基礎的 SSD），到我們的最高效能、同級領先、最高容量的商用 SSD——美光 9200 Eco SSD（11TB）。這些產品通常在熱分層和溫分層儲存裝置中搭配使用。我們還提供儲存級記憶體解決方案，可實現更高層級的非揮發性儲存效能，比當前的 SSD 解決方案快 10 倍。

在使用 Red Hat® Ceph——用於大型資料湖／海常見的以 Linux 為基礎的常用物件儲存解決方案——進行的測試中，我們看到可擴充容量解決方案（可擴充至 PB 級資料）使用四個雙插槽 2RU 儲存節點，其寫入吞吐量可達 23 GB/s，是 Ceph 效能最快的解決方案之一¹。

與 HDD 不同，固態硬碟可以支援巨量頻寬。我們已經看到，在現有的 Hadoop 叢集中新增少量快閃記憶體可將效能至多提升 36%。

其次，美光先進的 DRAM 解決方案提供高效能記憶體解決方案，使您能夠擴充解決方案中的每台運算伺服器，進而在轉換過程中幫助提高整體系統效能。我們在用於邊緣儲存裝置的低功耗、大容量記憶體方面的創新使 AI/ML 能夠部署到現場。例如，美光最新的 GDDR 繪圖型 DRAM 可以將記憶體位元速率加速至 16 GBps。

快閃記憶體和儲存裝置可讓您獲得更多資料，更接近處理引擎，進而實現更快的分析。GPU 是實現更快處理的關鍵因素，它可以平行處理數以百萬計的操作（CPU 使用循序順序）。這些美光產品共同提供了廣泛的高效能元件，這些元件對於目前正在商業解決方案中部署的進階 AI/ML 甚至深度學習解決方案至關重要。在整個 AI 解決方案的設計和部署過程中，80% 的工作由攝取和轉換步驟組成。您的解決方案為 AI 引擎獲取可用訓練資料集的速度越快，您就能越快地部署這項新技術並從中受益，進而建構更智慧的邊緣功能。