优化搜索代理的检索和规划,降低延迟
搜索代理,无论是用于深度研究,还是对私有语料库进行多步骤问答,大部分时间和计算都花在研究循环中:查询、搜索、推理、重复。
我们希望让这个循环更快、更准确。因此,我们联合优化了两件事:检索堆栈本身,以及决定何时以及如何搜索的规划器。
在我们最快的检索配置上训练的规划器,与在最昂贵的配置上未经训练的规划器相比,延迟减半。这个图中的每个箭头都指向左上方向。
我们希望让这个循环更快、更准确。因此,我们联合优化了两件事:检索堆栈本身,以及决定何时以及如何搜索的规划器。
在我们最快的检索配置上训练的规划器,与在最昂贵的配置上未经训练的规划器相比,延迟减半。这个图中的每个箭头都指向左上方向。