立场：科学团队中的 AI Agents 应被作为 Human-Agent Systems 研究

TL;DR 本文主张把科学团队中的 AI 智能体作为**人类-智能体系统（HAS）** 研究，而非仅评估其自主能力；通过文献与实证分析指出忽视人机动态会降低科学探索多样性，并呼吁建立数学框架促进人机协同发现。

问题

问题背景

当前 AI for Science 领域正快速推进 LLM-based agents 作为“AI Scientists”，用于自动化假设生成、实验规划与论文写作，衡量指标多集中于自主任务成功率 与验证精度。

现有方法局限

主流工作将智能体视为独立研究者，忽视科学发现的社会性：真实科研依赖团队内角色互补、批判性讨论 与 信任校准。仅评估单智能体能力会导致：

• 分析单元错位：以 agent 而非 human-agent pair 为对象，无法捕捉互相影响的动态过程。
• 多样性风险：实证表明，未经 human-agent dynamics 设计的部署易使智能体输出高置信度但同质化的假设，而人类科学家可能过度采信或系统性忽视，降低科学探究的多样性。
• 对齐不足：缺少对人类意图、风险偏好与知识边界的建模，agent 难以主动识别何时应咨询人类。

为什么难/重要

人机协同科学发现面临非平稳交互：人类对 agent 的信任会随成败漂移，反过来又改变 agent 的反馈策略，传统静态评估失效。同时，科学发现需要探索高风险、非共识方向，而过早部署自主 agent 可能固化当前范式。业界对 AI Scientist 的投入快速增加，但若缺乏 HAS 视角的系统框架，将难以量化协同增益，甚至造成科研生态的长期风险。

行业类比

正如自动驾驶从单车智能逐步转向车路协同 与 人机共驾，科研 AI 也需要从追求 Agent 自治转向设计人类与智能体的互补增强机制。

核心洞察

• 将 AI 科学家视为人类-代理系统（HAS）而非孤立自主体，是分析单元的根本转变。过去工作集中于提升 AI 在科学任务中的自主性能（如自动生成假设、实验），但忽略了科学家与 AI 之间的社会性交互。本文通过文献和实证指出，缺少人机动态考量的部署已导致近期风险，例如科学探究多样性下降。这一角度独特在于，它将人机协同而非单点能力作为评估和设计目标，为科学 AI 系统引入新的工程指标（如交互效率、多样性保持），区别于传统 AI Scientist 的准确率/速度优化。
• 提出基于 HAS 视角的数学框架需求，以形式化并优化人机协同发现。目前缺乏量化人类与 AI 代理在科学发现中协同效应的数学工具。文章强调，通过真实案例表明科学家和代理可以互相增强能力（例如代理处理大规模搜索，科学家提供直觉和方向），但这种互补未被系统建模。独特之处在于，它把协同从定性观察提升为可计算对象，促使研究者开发例如交互协议、角色分配优化、共同认知模型等，填补了从单个 AI 能力到团队级产出的理论空白。

方法

输入

• 现有 LLM-based agent 在科学发现中的应用文献，以“AI Scientists”类自主系统为核心对象。
• 近期真实部署实例与实证观察数据，包括科学探究多样性下降等风险信号。

关键模块

1. 文献分析：系统梳理 AI Scientists 相关工作，识别其评估维度集中于任务完成度与结果准确性，缺少对 human-agent dynamics 的测量。
2. 实证与案例分析：收集部署中的近期风险事件，说明忽略人机动态会削弱科学探究的多样性；同时分析成功案例，揭示科学家与 agent 的能力互补模式（如假设生成 vs. 实验执行）。
3. HAS 框架建模：提出将 human-agent pair 作为分析单元，从社会技术系统视角重新定义评估与设计原则，而非将 agent 视为独立自主实体。

输出与差异

输出是对当前研究范式的批判性论证，并呼吁发展数学框架以刻画 human-AI synergy。与同类方法不同，本工作不追求提升单个 agent 的自主能力，而是将研究重心从 agent 内部能力转移到人机对的交互结构与涌现协同上。

实验

实验设计

本文为立场论文，不涉及标准数据集上的定量实验。作者通过 文献综述 与 真实案例研究 以 human-agent systems (HAS) 为分析单元，对比当前 AI Scientists 研究中常见的自主能力评估范式。所分析案例来自近期科学场景中部署 LLM-based agent 的实践，重点关注人机交互动态对科学探索多样性的影响。

关键发现

• 若仅关注 agent 的 自主成功率，会忽视团队协作中的社会维度；近期案例表明，不刻意思考 human-agent dynamics 会带来 科学探索多样性下降 等短期风险。
• 科学家与 agent 在真实任务中存在 互补增强：人类提供问题定义与判断，agent 提供规模化的假设生成与实验执行。
• 作者呼吁发展 数学框架 刻画 human-AI 协同，以超越简单的任务级指标。

与基线对比解读

基线范式中，AI Scientist 常被当作独立个体，用 任务完成率 或 发现速度 评估；本文主张将评估对象替换为 human-agent pair 并纳入 长期科学多样性 与 协作质量 等社会性指标。对工程实践的启示是：在科学团队引入 agent 时，应设计明确的交互接口、版本控制与人类监督机制，而不是追求全自动替代；监控指标应从单一 agent 的准确率转向 人机配对的任务效能与探索覆盖度。

行业影响

落地场景

AI 辅助药物研发 与 企业级数据分析 是该视角下最具落地价值的场景。在药物发现团队中，AI agent 负责生成候选分子与实验设计，人类科学家负责验证与决策。将二者视为 human-agent pair，可设计出更安全的协作流程。同样，在电商选品或内容推荐业务中，AI agent 与运营分析师组成 pair，共同迭代策略。

商业价值

从 降本 看，HAS 框架能避免 agent 自主运行产生的隐性纠错成本。例如，agent 过度聚焦单一优化方向时，人类介入可保持 inquiry diversity，减少后续实验失败率。从 增收 看，通过研究人机互补的数学框架，可提升整体研发速度，例如药物管线推进效率。从 体验提升 看，明确 human-agent 权责边界能提高人类对 agent 的信任与采纳率，降低部署阻力。

与现有产品/工作流的接口

现有 AI 协作工具如 GitHub Copilot、Google Workspace AI 多关注单点自动化，缺少对 pair 级动态的建模。可将 HAS 评估指标（如决策多样性、任务接管频率）作为中间件嵌入 agent 平台，输出实时协作健康度。例如，在 Jupyter/Colab 类环境中增加 human-agent 交互日志分析，根据数学框架调整 agent 的自主级别，实现 autonomy_level 的动态切换。这比单纯调 prompt 或 wrapper 更根本，是向 human-in-the-loop 2.0 演进的工程化路径。

局限

• - 这篇论文是一篇立场性文章，而非实证研究。它主要依赖文献综述和案例分析来支持其观点，缺少系统的实验设计或定量证据来验证“人类-智能体对”的研究框架是否确实优于单独研究 AI 自主能力。因此，其结论的可信度和可证伪性受到限制，难以对工程实践产生直接指导。
• - 作者呼吁开发新的数学框架来理解和促进人类-AI 协同，但论文本身并未提供具体的形式化方法或可操作的度量指标。将分析单位定义为“人类-智能体对”可能忽略了科学团队中更复杂的多智能体交互和机构层面的动态，这种简化可能限制框架的适用性。
• - 与关注 AI 科学家自主能力的既有工作相比，本文没有给出可对比的基准测试或性能指标，如发现效率、假设新颖性等。这使其影响评估较为抽象，难以量化所提出视角的收益。仅通过定性案例（如减少探究多样性）来说明风险，缺乏控制实验或大规模数据支撑。