Agentic Negotiation 中的行为隐私泄露：通过随机策略形式化并缓解推理攻击

TL;DR 针对谈判智能体行为侧信道泄露，提出自适应随机策略实现差分隐私，在维持90%+谈判成功率的前提下，将对手推断准确率降低43–50%。

问题

问题背景

自主谈判代理在保险报价、采购合同签订等高风险商业场景中日益普及。这类系统代表用户进行多轮交互，用户私有的保留价格、预算上限等约束必须对对手方保密，避免策略性剥削。

现有方法的局限

当前隐私保护主要依赖密码学方案（如安全多方计算、零知识证明），它们能确保单次数据交换的机密性，却完全忽略了行为侧信道：对手可通过观察代理在谈判过程中的让步轨迹、响应延迟、出价收敛模式等动态行为，利用统计推断恢复私有参数。例如，一个确定性梯度下降式让步策略，会在出价序列中暴露出价与私有底价的函数关系，使攻击者能够反向推导。密码学方法无法掩盖这种序列层面的统计特征，存在明显防御盲区。

为什么此问题既困难又重要

技术挑战来自三重目标的相互制约：为谈判序列添加满足 (ε,δ)-差分隐私的噪声，必须同时保证隐私性（打乱行为可区分性）、协议收敛性（出价序列仍需达成一致）和谈判效用（接近最优成交价）。传统差分隐私机制多针对静态查询或单次发布，而谈判是动态博弈过程，噪声的累积极易破坏收敛性，甚至导致谈判破裂。随着大模型驱动的自治代理在经济交易中承担更主动的角色，对手可通过少量交互学习代理策略，此类推理攻击的威胁急剧上升，行为隐私保护已成为构建可信自治系统的关键一环。

行业类比

这与推荐系统中通过观察用户与推荐项的交互序列（点击、停留时长）推断敏感属性（如政治倾向）的攻击同源——即使传输内容加密，行为轨迹本身即构成高维隐私泄露源。

核心洞察

• **形式化行为侧信道威胁，将差分隐私从静态数据扩展至多 Agent 交互轨迹。** 传统加密仅保护显式传递的约束值，但攻击者仍可从让步速度、时序和收敛模式中推断隐私。本文首次对谈判过程中的行为泄露进行了系统分类，并设计了约束轨迹级的 (ε,δ)-DP 保障。与之对比，现有工作要么依赖理想化的零知识证明，要么只对数据库查询输出加噪，无法处理多轮、自适应的交互序列。该视角为所有涉及序列决策的 Agent 系统（如自动采购、财务协商）指出了被忽略的隐私缺口。
• **通过自适应噪声调度与安全批评器，实现强隐私保证下的高谈判效用。** 并非简单在动作上叠加固定噪声，所提策略根据当前隐私预算和对手行为动态调整噪声幅度，同时嵌入一个安全批评器以确保报价序列几乎必然收敛到可行区间。在 3000 组合成谈判中，对手推断准确率下降 43-50%，但谈判成功率和效用仍高于 90%，证明了隐私与性能并非零和博弈。这一机制对于需要在线决策的隐私敏感 Agent 具有直接移植价值——只需定义状态空间和约束条件，即可复用该自适应框架，无需从零设计定制隐私方案。

方法

输入与问题设定

谈判双方各持有私有约束（如 保留价值 r、最大预算 等）。对手通过观测代理的让步轨迹、时机和收敛模式，推断这些私有值。行为隐私保护的目标是：在多轮交互中，使对手无法以高置信度反推私有约束，同时保证协议达成与效用。

关键模块设计

该方法构建了一个自适应随机谈判策略，包含三个核心组件：

1. 确定性基线策略 (Deterministic Baseline Policy)：基于博弈论设计，根据对方出价与自身约束生成效用最优报价。无隐私保护时，策略能快速收敛至协议点。
2. 自适应噪声调度 (Adaptive Noise Schedule)：在基线报价上叠加校准的随机噪声。噪声强度随谈判进程动态变化：早期噪声较大以混淆私有值，接近协议点时噪声减小以保证收敛。噪声分布满足 (ε, δ)-差分隐私，严格限制对手从整个报价序列推断私有约束的能力。
3. 安全性评价器 (Safety Critic)：对噪声注入后的报价进行可行性检查。确保报价始终位于可行域内（如不低于成本线），且谈判效用高于预设阈值。若噪声导致越界，评价器将报价投影回安全域，从而保障几乎必然收敛与高谈判效用。

输出与隐私–效用权衡

代理输出带有随机性的报价序列，该序列在统计上与其他私有值对应的序列不可区分（给定差分隐私参数 (ε, δ)）。实验表明，机制将对手推断准确率降低 43%–50%，同时谈判成功率与效用维持在 90% 以上，实现实用平衡。

与同类方法的关键差异：现有密码学方案仅保护信道中传递的数值，忽略从行为动态推断隐私的风险；本方法首次将差分隐私扩展到多轮谈判的行为模式，在保证收敛与高效用的前提下，有效抵御行为隐私泄露。

实验

实验设计

实验在 3000 例合成双边谈判 上进行，谈判场景涵盖保险定价、采购等高博弈场合。采用 自适应随机策略 与确定性基线策略对比，评估三者：

• 隐私保护程度：对手（推理模型）从让步轨迹、时序和收敛模式推断私有限制（如保留价）的准确率；
• 谈判效用：达成协议的比率与联合收益；
• 隐私-效用权衡：在不同隐私预算 (ε) 下的表现。

对手模型包含静态推断器与 自适应对手，后者根据观察动态调整推断策略，模拟更强的威胁。

关键发现

• 本机制将 对抗推理准确率降低 43–50%，即使在强自适应对手下仍显著削弱行为泄露。
• 在提供 (ε, δ) 差分隐私保证 的同时，谈判成功率与效用均维持在 90% 以上，几乎未牺牲达成协议的能力。
• 消融实验表明，自适应噪声调度 与 安全评论模块 对收敛性和隐私保护缺一不可。

与基线对比的深层解读

确定性基线策略在博弈中暴露固定的让步模式，对手可通过少量轮次快速推断保留价。本工作引入的 随机化策略 在每轮报价中注入校准噪声，使得对手即使观察完整轨迹也无法区分真实约束与随机扰动。值得注意的是，隐私增益并未以谈判破裂为代价：通过安全评论确保报价始终在可行域内，收敛性得到理论保证，使得效用与基线可比。这一结果有力地表明，行为隐私保护可以与高绩效谈判共存，无需牺牲任何一方。

行业影响

落地场景

该研究解决的 行为隐私泄露 问题广泛存在于各类 自治协商智能体 (autonomous negotiation agents) 应用中，例如：

• 金融保险：自动承保、理赔谈判中隐藏用户预算或底价，避免对手通过出价节奏推断敏感信息。
• 供应链采购：多家供应商的竞价谈判中，防止对手从让步速度和幅度推断成本结构或紧迫度。
• 电子商务：个性化折扣协商 chatbot，在对话式优惠券发放中保护用户支付意愿。
• 能源市场：实时需求响应中的双边协商，保护用户的用电弹性偏好。

商业价值

该机制可在 不显著牺牲协商成功率与效用 (>90%) 的前提下，将对手的私有约束推断准确率 降低 43–50%，直接创造以下价值：

• 信任增值：向用户提供可证明的隐私保护，降低参与自动协商的心理门槛，扩大市场覆盖。
• 合规降本：在需遵守数据保护法规（如 GDPR“目的限制”原则）的场景下，防止因行为数据隐式泄露而导致的合规风险与罚金。
• 防博弈剥削：避免对手利用推断出的约束信息动态调整报价策略，从而保障己方在重复博弈中的长期收益。

与现有产品/工作流的接口

该基于 自适应随机策略 的隐私机制可作为中间件插入现有的自治协商系统：

• 集成方式：在策略模型输出的报价上叠加满足 差分隐私 的噪声，并通过 安全边界规则 (safety critic) 保证报价仍处于合理区间。
• 对现有 Stack 的影响：无需替换底层 negotiation engine 或 LLM-based 策略模型，仅需在 offer generation 与 acceptance 模块间增加噪声注入与安全校验层。
• 部署考量：可与已有的 加密隐私方案 (如安全多方计算) 互补 —— 加密保护直接披露的约束值，随机策略则防御从交互动态中推断出的行为侧信道。

具体落地 Use Case

1. 电商平台的协商式优惠券：在大型购物节期间，自动协商 agent 向用户分批次发放折扣。采用该机制后，即使用户多轮拒绝高折扣券，平台也无法精确推断其真实最高接受价，避免后续定向杀熟，同时保持促销效率。
2. 企业旅行预订系统：为公司员工自动与酒店或航空公司协商团体价格。通过随机化报价序列，避免对手反推出该公司的差旅预算上限，保护企业成本结构机密。

局限

• **合成实验与真实场景的差距**：论文在 3,000 个合成双边协商案例上验证，对手模型基于 offer 序列的统计推断。真实协商涉及多层议题、并发交互、非理性对手等更复杂的策略空间，对手可能采用自适应强化学习攻击，导致隐私保护效果下降。合成数据难以完全模拟人类协商的动态与不确定性，因此该方法在真实高维、长周期协商中的鲁棒性有待进一步验证。
• **单边保护与多边扩展受限**：机制仅保护单方 agent 的隐私，且依赖于对手的保留值设定。当双方均需保护隐私时，信息不对称可能被对手反向利用。论文虽提及多议题扩展（Sec 4.7），但未给出完整的理论收敛与效用界，且未评估多条议题下噪声累加对隐私预算的消耗。在复杂采购等多议题场景，效用可能急剧下降，限制了方案的横向扩展。
• **对协议假设的依赖较强**：收敛性要求对手保留值允许达成协议，且对手遵循协商协议。实际高对抗环境中，对手可能故意设定不合理保留值以探测隐私，或通过反复中断协议、操控时间戳等侧信道积累观测样本，从而削弱差分隐私保护。该假设使机制在非合作或恶意环境下适用性受限，且未讨论隐私预算耗尽后的策略退路。