輸入無效。不支援特殊字元。
全球首款 256GB SOCAMM2
得益於美光突破性的單片式 32Gb LPDDR5X 技術,美光 SOCAMM2 擴充了資料中心內的低功耗 AI 記憶體能力。
相關資訊
1 結果基於美光內部使用 Llama3 70B 模型(採用 FP16 量化)進行即時推理的測試,上下文長度為 500K,並有 16 個併發使用者。預計 TTFT 延遲改善是基於每個 CPU 使用 2TB LPDRAM 的延遲為 0.12 秒,而每個 CPU 使用 1.5TB LPDRAM 的延遲為 0.28 秒。
2 結果基於美光內部的 LPDDR5x 功耗計算器,並基於預估的 AI 應用場景及條件。