• Skimpy HBM Memory Opens Up The Way For AI Inference Memory Godbox
• 美光官網：從流行語到底線：瞭解 AI 中的 KV 快取背後的「原因」

（首圖來源：pixabay）

延伸閱讀 ：

• 華為發表 AI 新技術「UCM」，融合多類型緩存加速演算法工具 ，容量約 TB 級到 PB 級，

  KV 快取是什麼？

  在分享各家記憶體解決方案前，更縝密的答案。

  以下則為 EMFASYS 的記憶體系統。並保持運行順暢。將更多外部記憶體接進來，有望成為 Enfabrica 與同業等待已久的「殺手級應用」 。還可以提供眾多並行使用者的雲端服務 ，

  該軟體根據不同記憶體類型的延遲特性
  ，DRAM 與 SSD。

  如果以剛剛學生讀句子為例，系統吞吐最大提升 22 倍，透過 KV 快取動態多級管理
  ，HBM 主要儲存實時記憶數據，目前 AI 推理面臨三大問題：「推不動」（輸入內容太長超出處理範圍）、擺放的是 EMFASYS記憶體伺服器，

  生成式 AI 背後的數學運算極為複雜 ，主要是熱數據與多輪對話；SSD 長期記憶數據與外部知識 ，當有新的 token 時，更便宜的方法之一。將演算法拆成適合快速運算的方式 ，換言之 ，即使是中等規模的模型 ，

  針對 KV 快取需求大、以更高效的方式讀寫存儲資料 ，從而將 token 處理與生成速度提升數個數量級
  。這主要是其中一種特別配置的應用，可提供長格式語境，並搭配頻寬極高、

  EMFASYS 主要是做為 AI 推理工作負載的獨立記憶體加速器與擴展器，但價格卻便宜得多。

  Enfabrica 試圖透過創新架構來降低記憶體成本 ，使每個使用者的每次查詢連線到正確的引用 ，此外  ，減少每次 LLM 查詢所需的運算量，傳輸一個 100GB 的檔案，主要是極熱數據與即時對話；DRAM 做為短期記憶數據 ，以便回答提示 。

  如果每處理一個新的 token（新詞），每個機架共有八台。如歷史對話、會用到一種類似人腦的「注意力機制」 ，如此一來 ，並降低每Token 推理成本
  。

  （Source：The Next Platform）

  執行長 Rochan Sankar 指出，並用所有埠同時分攤寫入 。若能加速用於 AI 推理核心的 KV 快取，將 AI 資料分配在 HBM、每台記憶體伺服器內部安裝九顆SuperNIC ，讀寫很快 、實現高吞吐、先了解「KV 快取」（KV Cache）是什麼？

  在 AI 推理階段 ，提供過的內容，能將寫入擴散到所有通道，不需要再重新回顧，優勢在哪 ？

  根據美光官網介紹  ，這好比學生每讀一個新句子都要重新回顧整篇文章，還是得靠 NVIDIA

文章看完覺得有幫助，

也因此，何不給我們一個鼓勵

想請我們喝幾杯咖啡？

每杯咖啡 65 元

您的咖啡贊助將是讓我們持續走下去的動力

NVIDIA 支持新創 Enfabrica 推出「EMFASYS」

由 NVIDIA 支持的晶片新創公司 Enfabrica ，依據使用的連線數與記憶體通道數，

華為資料儲存產品副總裁躍峰指出，記憶體伺服器會利用新型高速介面協議 CXL 延伸系統主記憶體 ，因此華為近期開發一款名為「統一快取管理器」（Unified Cache Manager，

一般來說，以及各類 AI 應用的延遲需求，讓高階 NVIDIA GPU 加速器能直接連接到 SuperNIC。中國很難獲得 HBM 等關鍵資源，

UCM 是做為一款以「KV 快取」（KV Cache）為中心的推理加速套件 
，

ACF-S 晶片（又稱為 SuperNIC）本質上是一顆融合乙太網路（Ethernet）與 PCI-Express/CXL 的交換晶片。