训练LCLM压缩大量上下文为小潜在表示，优于KV缓存压缩

我们训练了将大量上下文压缩为微小潜在表示的语言模型。Latent Context Language Models (LCLMs) 在延迟/准确性边界上优于现有的KV缓存压缩方法。🧵1/10 https://t.co/AOmchi7qlw