TriAttention已集成到NVIDIA TensorRT-LLM，用于高效LLM推理的KV缓存压缩方法。

🚀 非常兴奋，TriAttention 已集成到 NVIDIA TensorRT-LLM！
⚡️ TriAttention 是一种对 agent 友好且感知基础设施的 KV 缓存压缩方法，用于高效的 LLM 推理。

🔗 链接：https://t.co/93iM4BXl8p