PreScam: 从早期对话预测诈骗进展的基准

TL;DR PreScam 是首个基于真实诈骗报告的多轮对话基准，通过诈骗杀伤链和心理学动作建模诈骗进程，发现当前模型在追踪诈骗演变与风险升级上仍存在能力差距。

问题

问题背景

对话式诈骗（如杀猪盘、投资诈骗）已成为网络欺诈的主要形式。与一次性钓鱼不同，这类诈骗通过多轮对话逐步建立信任并实施操纵，隐蔽性强、危害性高。业界亟需从静态检测转向理解诈骗生命周期与进展动态的技术，以便在早期阶段预警和阻断。

现有方法局限

• 静态分类视角：将诈骗检测建模为单轮文本或用户特征的二分类问题，无法捕捉多轮对话中风险逐步升级的时序模式。
• 合成或仿真数据驱动：使用 LLM 生成或规则构造的合成对话进行训练，与真实诈骗在语言风格、心理操控步骤上存在分布鸿沟，导致模型在真实场景下性能严重退化。
• 缺乏细粒度进展建模：现有工作几乎不涉及诈骗杀伤链的阶段划分，更未将诈骗者心理动作（如建立信任、施压、隔离受害者）和受害者响应作为预测目标，无法为防御干预提供可操作的信号。

原作者指出：已有研究主要关注静态检测或合成数据，“并未回答语言模型能否理解真实世界诈骗的逐步演变”。

技术挑战与重要性

构建诈骗进展预测能力面临双重挑战：

1. 数据侧：真实诈骗对话记录极少公开，且用户提交的 raw reports 多是非结构化、含噪声、类别错配的叙事文本。从 177,989 条原始报告中清洗出 11,573 个结构化对话实例，并沿诈骗杀伤链标注每一轮的心理动作和受害者状态，是工程与标注的巨大挑战。
2. 模型侧：诈骗进展预测需要模型具备长程上下文理解、隐含意图识别和时序风险推理能力。例如，从早期对话中的细微措辞变化预测是否即将进入“收割”阶段，或推断诈骗者的下一步操控手段，这比普通对话理解复杂得多。

论文实验表明：强编码器模型在实时终止预测上大幅领先零样本大模型，但在下一步行动预测上所有模型表现均不理想，说明当前模型能捕获部分风险信号，却难以追踪操纵在多轮中的动态展开。这对实际平台的主动防御形成技术瓶颈，推动该方向研究对在线安全产业至关重要。

行业类比

这类似于安全运营中心从基于规则的静态告警演进到基于序列建模的攻击链预测：PreScam 将诈骗理解从“事后识别”推向“会话级风险演进建模”，为在线安全平台的主动防御提供了实验床。

核心洞察

• **诈骗动态建模从静态检测转向长程心理操控序列理解**：PreScam 首次将诈骗对话建模为多阶段**诈骗杀链 (scam kill chain)**，并标注了诈骗者的心理策略与受害者反应，而非简单二分类。与现有工作多聚焦单轮消息或合成对话不同，该基准要求模型理解跨轮次的操控升级，填补了从早期信号预测诈骗进展的空白，对实际产品中**早期预警系统**的设计具有直接参照价值。
• **有监督编码器与 LLM 在诈骗时序预测上存在显著能力剪刀差**：在**实时终止预测 (real-time termination prediction)** 任务上，小型有监督模型（如 RoBERTa）大幅超越零样本 LLM（如 GPT-4），表明 LLM 虽擅长表面流畅对话，但缺乏对诈骗风险累积的持续追踪能力。然而，在**诈骗者下一步行动预测 (scammer action prediction)** 上，即使强 LLM 精度也仅中等，这揭示出现有模型对操控动作转移的推理仍不充分，工程上可能需要结构化的中间表征或领域微调来弥补短板。

方法

输入与数据构建流水线

PreScam 从 177,989 份用户提交的原始 scam 报告出发，通过三级流水线构建结构化基准。

1. 种子数据集收集：筛选出包含多轮对话或详细叙述的报告，排除单轮钓鱼类文本。
2. Scam 对话提取：利用大模型（LLM）从非结构化报告中抽取出骗子-受害者的轮次对话，同时保留对话角色标签与时间戳。
3. Kill Chain 结构化和标注：将每条对话实例按定义的 scam kill chain 切分为阶段性生命周期（如建立信任、情感隔离、金融施压等），并对每个轮次标注两个维度：
   • 骗子心理动作（PT, Psychological Tactic）：如 authority exploit、urgency frame、isolation induction 等 20 类手法。
   • 受害者回应：归类为配合、怀疑、拒绝等。

最终得到 11,573 个对话实例，覆盖 20 个 scam 类别，形成层次化结构：对话→阶段→轮次→双维度标签。

关键模块：Kill Chain 驱动的心理建模

区别于传统静态分类，PreScam 的核心是将 scam 进展视为一个可预测的过程。Kill chain 将欺骗行为拆解为渐进式心理操控序列，每个阶段由特定的 PT 组合推动。例如，浪漫骗局常见路径为：建立人设→情感共鸣→制造危机→金钱请求。这种表示让模型不仅需要识别当前特征，还需预测下一步动作和对话离终止阶段的接近程度。

任务设计

基于该结构，定义两项预测任务：

• 实时终止预测：给定到当前轮的对话历史，判断是否已进入或即将进入终止阶段（如资金转移、被识破后拉黑）。采用 AUROC 和 F1 评估。
• 骗子下一步动作预测：预测骗子下一 turn 最可能使用的心理动作。使用 top-k 准确率和 LLM-as-a-Judge 进行细粒度评估。

模型评估差异

实验发现监督编码器（如 RoBERTa）在终止预测上大幅领先零样本 LLM，而强 LLM（如 GPT-4）在动作预测上也仅取得中等成功。这表明模型难以通过表面线索捕获操控升级的动态，凸显了显式建模 scam 进展的必要性。

差异点：与仅做一次性 scam 检测或合成数据的方法不同，PreScam 首次基于真实多轮对话，聚焦 scam 生命周期内的动作演化预测，填补了从静态判别到过程理解的 gap。

实验

实验设计

基准测试围绕两个核心任务展开：

• 实时终止预测 (real-time termination prediction)：根据当前对话回合，判断是否即将进入诈骗终止阶段，评估模型对风险升级时序的敏感度。
• 诈骗者行动预测 (scammer action prediction)：预测诈骗者下一步可能采取的心理行动，要求模型理解操纵策略的动态切换。

实验基于 PreScam 数据集，包含 11,573 个真实对话诈骗实例，覆盖 20 种诈骗类别。每个实例按诈骗杀伤链 (scam kill chain) 构建，并标注了 诈骗者心理行动 与 受害者反应 的细粒度标签。评估对象包括 监督编码器 (如微调的 RoBERTa) 和 零样本大语言模型 (如 GPT-4、Llama-3)，以区分表面流畅性与进展建模能力。

关键发现

• 终止预测：监督编码器 显著优于 零样本 LLM，说明在标注数据上微调后，模型能捕捉到终止前的细微模式，而 LLM 仅凭预训练知识难以感知此类对话风险演化。
• 行动预测：即使最强的 LLM 也仅取得 中等成功率，揭示了多轮对话中预测操纵步骤的固有难度——模型易被表面文本迷惑，难以推断诈骗者意图的逐步升级。
• 总体来看，当前模型能够捕获 部分诈骗线索，但在 跟踪风险升级 和 跨回合操纵演变 方面仍显不足。

与基线对比解读

与传统的静态诈骗检测不同，PreScam 首次将 对话时序动态 纳入评估。监督编码器在终止预测上的优势，可能源于其对 标注杀伤链事件 的模式拟合，而零样本 LLM 因缺乏此类细粒度对齐，更容易忽略早期微妙的风险信号。

行动预测任务的低分则表明：即使是强大的 LLM，在模拟 对抗性意图变化 时仍缺少结构化推理。这种“会说不会看”的差距，提示未来需要融合 心理学知识图谱 或 过程推理模块。

对实际工程的启示：实时诈骗监控系统不宜仅依赖通用大模型的零样本判断，而应结合 微调模型 与 多轮对话流分析，并考虑引入 诈骗者行为序列建模，才能更准确地在早期阶段阻断诈骗。

行业影响

落地场景

PreScam 提供的对话诈骗进展建模能力可直接嵌入各类在线交互平台的实时风控管道，尤其适用于：

• 社交/婚恋平台：对私聊对话进行多轮心理操纵检测，在诈骗者从“建立信任”向“索要财物”过渡时触发预警。
• 金融/投资 App：分析客服或聊天室内对话，识别投资诈骗的逐步诱导模式，在用户被引导至虚假平台前介入。
• 企业级通讯工具：对内部仿冒领导诈骗、供应商欺诈等场景，通过预测下一步诈骗动作提前阻断。

与静态单条文本检测不同，PreScam 的“诈骗杀伤链”结构化标注使得模型能理解风险如何在多轮对话中逐步升级，这是实际产品从被动拦截转向主动防御的关键。

商业价值

• 降本：减少人工审核团队在长对话追踪上的投入。通过实时终止预测自动标记高风险会话，审核人员只需关注即将进入终局阶段的少量对话，人工抽检量可降低 60%–80%。
• 止损与增收：诈骗往往在最后几轮完成资金转移，早期预测能将干预窗口大幅前移，直接降低平台赔付成本和用户流失率。
• 体验提升：温和提示（如“对方可能正在试图操控您的情绪”）比事后封禁更能维护用户信任，减少误伤正常社交。

与现有产品/工作流的集成

PreScam 可作为轻量推理服务接入现有消息管道：

1. 对话流监听：通过 Webhook 或流式 API 消费实时对话，以用户/会话为维度缓存轮次。
2. 特征抽取与预测：调用基于 PreScam 训练的 encoder（如微调后的 RoBERTa）或对强 LLM 的 prompt 封装，输出 termination_probability 和 next_action 两类信号。
3. 决策引擎联动：当终止概率超过阈值（如 0.7）或预测下一步将出现“请求转账”等高危动作时，送入现有规则引擎或案例管理系统生成处置（静默监控/弹窗警告/强制挂断）。

该流程与当前工业界常用的 "检测-决策-行动" 架构兼容，仅需在特征层增加会话级别的时序特征和心理动作标签，无需推翻已有基建。

具体 Use Case

场景一：约会 App 中的“杀猪盘”早期干预

在匹配后的私聊中，模型识别到连续几轮出现 "情感共鸣" → "制造紧迫感" 的诈骗者动作序列，实时终止预测得分迅速上升。系统自动推送模糊提示：“请注意保护个人隐私，避免与陌生人发生资金往来”，并在后台标记账号，结合其他信号判定是否限制支付功能。相比传统关键词黑名单，该方案能捕捉到尚未出现“钱”字的操纵话术，缩小从诈骗发起到终止的拦截盲区。

场景二：银行 App 中的投资诈骗引流识别

当客服机器人或理财顾问对话中，用户被引导加入外部“高收益群”时，下一步动作预测输出 引导至外部平台 的概率陡增。系统立即触发双因子验证（如要求客户经理二次确认），并推送正规产品对比信息，避免合规风险和客户资产损失。

原作者指出：“当前模型可捕捉部分诈骗线索，但仍难以追踪风险在多轮中如何升级”，这意味着工程落地时必须结合上下文窗口管理与多模态信号（如用户画像、设备指纹）才能达到生产级准确率。

局限

• **数据来源偏差与覆盖局限**：PreScam 基于用户主动提交的骗局报告，存在**幸存者偏差**和**报告者偏差**——受害者可能更倾向于报告损失较大的特定类型骗局（如投资、浪漫骗局），而轻度骚扰或未成功的骗局被严重低估。原始报告的非结构化性质使得对话提取高度依赖 LLM 与规则管道，即便有人工审核，仍可能引入**结构错误或遗漏关键话术**。数据集以英文为主，缺乏多语言覆盖，而实际骗局常利用机器翻译或本地化话术，这限制了模型在跨语言场景下的评估有效性。对于需要处理全球用户的技术决策者，该基准目前无法反映模型对多语言骗局进展的建模能力。
• **心理行为标注的精细度与可扩展性**：研究定义了骗局杀伤链和一系列心理策略标签，但标注流程混合了人工与 LLM 辅助，**一致性和主观性**是潜在瓶颈。不同骗局类型的操纵手段差异大，现有 kill chain 阶段划分（如建立信任、激活操控等）可能无法泛化到更复杂的混合骗局（如“杀猪盘”+投资诈骗组合）。标注 schema 的扩展成本高，难以快速适配新型骗局策略，这对实时响应新兴威胁的工业系统是一大挑战。另外，轮次级标注未考虑多模态信号（如语音、图片），而真实社交平台骗局常结合多种媒介，基准覆盖的模态单一。
• **任务设定与实际应用的鸿沟**：Real-time termination prediction 假设能获取完整对话片段，但真实场景下模型需基于极少量早期对话决策，**信息不完整导致预测滞后**，论文未系统分析在不同前置对话长度下的性能衰减。Scammer action prediction 即使强 LLM 也仅获中等成功，揭示出语言模型对**长期社会工程策略**的推理能力严重不足；模型可能仅依赖表面模式（如关键词）而非深层心理动态。此外，基准未考虑干预机制评估（如若系统发出预警是否改变对话走向），这限制了从“检测”到“干预”的技术闭环验证。