研究提出CtrlBench-Rec框架评估黑盒推荐系统外部可控性
新研究用多智能体探测黑盒推荐系统的外部可控性,揭示内容可达性存在边界,并非所有目标都能被用户引导出来。
推荐系统很会猜你喜欢,但未必听你的。中科院团队提出多智能体评估框架CtrlBench-Rec,仅通过搜索、点击等外部行为测试用户能否引导系统。实验显示不同推荐架构可控性差异大,且存在内容可达性边界,增加交互次数也无法突破结构性限制。
正文摘录
.jpg)  该研究作者团队来自中国科学院信息工程研究所智能认知安全实验室,主要研究智能算法、大语言模型、多智能体系统及其安全。 打开视听平台,系统决定你接下来看到什么;进入购物软件,系统预测你可能购买什么。过去几十年,推荐系统主要关注 “能否更准确地预测用户下一步喜欢什么”。但当用户希望探索小众内容、调整兴趣结构或摆脱热门推荐时,系统是否会响应? 一个推荐系统可以很会 “猜你喜欢”,却未必真正 “听你的”。为此,我们提出 CtrlBench-Rec :一个面向黑盒推荐系统的多智能体外部可控性评估框架。它不访问模型参数、梯度、召回逻辑和内部用户表示,仅通过搜索、点击等外部行为,测量系统能否被用户引导。