LLM 記憶體用量縮減 20 倍！NVIDIA 超狂新技術 KVTC，靠「KV 快取」翻轉記憶體瓶頸

輝達（NVIDIA）研究人員提出一種新技術，可大幅降低大型語言模型在追蹤對話歷史時所需的記憶體，最高可達 20 […]