В блоге vLLM подробно протестили TurboQuant Пару месяцев назад нашумел пейпер…

В блоге vLLM подробно протестили TurboQuant Пару месяцев назад нашумел пейпер годовой давности от гугла про метод квантизации kv кэша, который даже немного обвалил акции компаний производителей оперативки.