Entity

TurboQuant

Google Research开发的在线向量量化压缩算法，专门用于压缩LLM推理过程中的KV缓存，由PolarQuant、QJL和TurboQuant三个互补技术组成。