Deep Mind专家谈长上下文趋势与RAG关系
很值得听一下的技术访谈 - Deep Mind的Nikolay Savinov聊长上下文/long context，我印象深刻的几个点如下:
1. 10M context windows不久就会有/reasonably soon，而且将常态化/commodity（提到在gemini 1.5 pro的时候已经能实现这个长度，只是推理成本太贵没有放出来）
他认为一旦10M context成为常态，将成为某些应用的决定性因素，例如AI编程，能几乎完全解锁将大型项目全代码库包含在上下文中的能力；
2、专门聊了long context vs RAG，明确说了：
- 除了过往就知道的延迟相关的考虑外，长期来说，RAG也并不会因为long context 而消失（例如总有更大的知识库）；
- 而且RAG和long context是相辅相成的关系，例如long context可以帮助RAG提升召回率和处理更复杂的需求；
3、Long context + agents: 目前需要手动查找和导入上下文的繁琐过程是人们与 AI 系统互动的主要限制之一。未来如果能建立一个“长上下文智能体系统”，让其能够从任何地方去自动获取你的上下文，将非常有趣；
1. 10M context windows不久就会有/reasonably soon，而且将常态化/commodity（提到在gemini 1.5 pro的时候已经能实现这个长度，只是推理成本太贵没有放出来）
他认为一旦10M context成为常态，将成为某些应用的决定性因素，例如AI编程，能几乎完全解锁将大型项目全代码库包含在上下文中的能力；
2、专门聊了long context vs RAG，明确说了：
- 除了过往就知道的延迟相关的考虑外，长期来说，RAG也并不会因为long context 而消失（例如总有更大的知识库）；
- 而且RAG和long context是相辅相成的关系，例如long context可以帮助RAG提升召回率和处理更复杂的需求；
3、Long context + agents: 目前需要手动查找和导入上下文的繁琐过程是人们与 AI 系统互动的主要限制之一。未来如果能建立一个“长上下文智能体系统”，让其能够从任何地方去自动获取你的上下文，将非常有趣；
深入长上下文：最新Release Notes播客🎙 GoogleDeepMind的@OfficialLoganK和@SavinovNikolay讨论将上下文窗口扩展到数百万、近期质量改进、RAG与长上下文对比等。关键时间点：0:52 介绍与定义 https://t.co/dawqVQQNFs