教会LLMs在代表性不足的癫痫护理中推荐与推迟决策

TL;DR MANANA 通过非参数提示学习将处方错误转为提示记忆，让 LLM 适配本地实践，并用贝叶斯平均实现可延迟决策，显著提升资源匮乏场景下的小儿癫痫处方精度。

问题

问题背景

大型语言模型（LLM）正逐步进入临床决策支持，尤其用于处理癫痫等慢性病的纵向非结构化记录。但在资源受限环境中，本地处方习惯、药物可及性和随访模式与高收入地区差异巨大，通用模型难以直接迁移。

现有方法局限

标准提示工程依赖模型内部知识，但神经科医生审查发现，许多错误并非出自记录解析失败，而是模型倾向输出全球通用的处方默认值，造成分布校准偏差。传统机器学习（如XGBoost）需大量结构化特征，难以利用自由文本；提示优化方法（如DSPy、TextGrad）虽能调整提示，却缺乏不确定性估计与安全推迟机制，无法在低置信度时自动将病例转交专家。

为什么这个问题难且重要

核心挑战在于三点：1) 从少量患者记录中习得本地处方偏好；2) 形成可审计的提示记忆，让错误可追溯；3) 输出校准置信度以支持选择性预测——系统可在高置信度下自动处理，其余病例则推迟至专家审核。这对患者安全至关重要，也直接影响LLM在高风险场景中的落地可信度。业界对鲁棒的不确定性量化与领域自适应这两项能力的关注持续升高。

行业类比

类似自动驾驶在罕见场景下的异常检测与安全降级——系统需感知分布外状况并主动请求人工接管，而非盲目执行。

核心洞察

• **将处方错误转化为可审计的提示记忆，实现局部实践适应**：MANANA 将观察到的处方错误（源于分布错位的默认处方）转化为显式记忆，在推理时检索类似病例并调整提示，直接修复局部实践偏差。这与 DSPy、TextGrad 等通用提示优化的不同在于，其目标是弥合特定临床环境下的分布偏移，而非泛化的任务指标提升，且生成的记忆体可被临床医生审计，提供了透明、可追溯的决策依据。
• **贝叶斯提示平均将学习到的提示轨迹转化为不确定性估计，实现安全分诊**：系统在提示优化过程中采样多条轨迹，通过 Bayesian prompt averaging 聚合得到处方概率和置信度，从而支持 selective prediction。在独立测试队列中，可自动处理半数置信最高病例达 95% 精度，或四分之一病例达 99% 精度，低置信病例则推迟专家审核。这种基于提示轨迹的不确定性量化，比传统分类器软最大置信度更贴合 LLM 推理过程，为高风险医疗决策提供了可靠的分诊信号。
• **多智能体架构模拟临床会诊，增强鲁棒性与可解释性**：MANANA 的多智能体模式引入 inspector、architect 等角色，对处方进行迭代审核、修订与共识达成，将专家会诊流程编码为 prompt 交互。相比单智能体易陷入分布偏差，多智能体通过角色制衡减少错误传播，且所有交互日志均可审计，解决了 LLM 临床决策支持系统的黑箱信任问题，同时在小样本训练下保持优于经典 ML 和单智能体 Prompt 优化的性能。

方法

方法流程

输入 是纵向非结构化临床笔记，任务是预测抗癫痫药物(ASM)方案。由于低资源场景下处方实践与高收入环境差异显著，LLM 直接提示常产生分布校准误差——即沿用训练语料中的默认处方而非适应当地实际。

关键模块

1. 提示记忆学习
   MANANA 从少量患者级训练集中识别 LLM 的错误模式，将错误案例转化为自然语言提示记忆，存入可审计的记忆库。这些记忆捕捉本地处方偏好、药物可用性等上下文知识，是非参数化的——记忆数量随数据增长，不依赖固定参数。

2. 多智能体协作 (Multi‑Agent)
   提供单智能体与多智能体变体。多智能体架构包含 Inspector(审查建议)、Architect(构建记忆)等角色，通过迭代审查与修正提高记忆质量，最终形成协同工作的提示集合。

3. 贝叶斯提示平均 (Bayesian Prompt Averaging)
   不从学习轨迹中选取单一最优提示，而是收集训练过程中的多个提示快照，用贝叶斯方法综合所有提示产生的处方概率分布。这既给出处方似然，又自然导出不确定性估计，无需额外校准。

输出与决策

系统输出多药物处方建议及对应置信度。根据贝叶斯不确定性设置阈值，实现选择性预测：高置信度案例自动处理，低置信度案例推迟给专家。在乌干达独立测试集上，最自信的一半案例可达到 95% 精度，最自信的四分之一可达 99% 精度。

差异点：与 DSPy、TextGrad 等通用提示优化工具不同，MANANA 专为临床处方设计，通过非参数记忆实现可解释的错误纠正，并用贝叶斯平均提供可操作的推迟信号，而非仅优化单一指标。

实验

实验设计

任务是在 乌干达小儿癫痫 的两个独立队列上，从纵向非结构化诊所笔记预测 抗癫痫药物 (ASM) 方案。MANANA 利用少量患者级训练样本学习局部处方指导，将观察到的处方错误转化为可审计的 提示记忆 (prompt memories)，并实现单代理和 多代理 (multi-agent) 变体。基线包括: 标准提示、经典 ML (Naive Bayes, XGBoost)、提示优化方法 (DSPy, ExpeL, TextGrad)。评估指标为 就诊级 top-3 处方准确率，并通过神经科医生审核和 不确定性推迟 (deferral) 信号进行分析。

关键发现

• MANANA 在两个队列上均优于提示优化基线，top-3 准确率提升 4–8 个百分点。
• 引入 贝叶斯提示平均 (Bayesian prompt averaging) 后，系统能够给出处方似然和不确定性: 在独立保留队列上，可自动处理 最自信的 50% 病例 且精度达 95%，或仅处理 前 25% 病例 达 99% 精度，其余推迟专家审查。
• 神经科医生审查揭示，标准提示的错误多源于 分布校准错误的处方默认值 (distribution-miscalibrated prescribing defaults)，而非对病历的解析失败。

与基线对比的解读

直接 LLM 提示尽管能达成非平凡一致率，但未捕捉局部处方模式; MANANA 通过从数据中学习 局部处方记忆 克服了此类分布偏移。相比经典 ML 模型，MANANA 能直接处理非结构化文本，并利用 LLM 的推理能力。与提示优化方法 (DSPy, ExpeL, TextGrad) 的关键差异在于: MANANA 的非参数记忆既提供了 可审计性 (每条提示记忆对应具体错误)，又通过贝叶斯平均自然产出 不确定性量化，使得 选择性预测 (selective prediction) 具有安全可靠的推迟机制，这在低资源临床决策中至关重要。这种“记忆+不确定性”的组合是其他纯优化式提示方法所缺乏的。

行业影响

落地场景

MANANA 框架的直接场景是临床决策支持，尤其针对资源受限地区或罕见疾病，通过小样本提示学习（non-parametric prompt-learning）适配本地处方习惯，并输出不确定性驱动的 deferral 信号。这种“自信自动处理、低置信转人工”的能力可复用到任何需兼顾自动化与人工判断的业务线，例如：

• 医疗 AI：电子病历自动推荐用药方案，自动处理 50% 高置信病例（精度 95%），其余流转给远程专家；
• 电商客服：智能推荐回答，若模型对答案置信度低，自动转入人工队列，避免错误回复；
• 金融风控：信贷审批中，高置信交易自动通过，低置信案例交由分析师复核，实现风险与效率平衡。

商业价值

• 降本：通过 selective prediction 自动消化高频标准案例，显著减少对稀缺专家的依赖，节省人力成本；
• 增效：实测在独立队列上将 Top-3 处方准确率提升 4-8 个百分点，同时保持高精度时自动处理比例可观（如 50% 案例 95% 精度），加速决策闭环；
• 体验提升：对医生而言，可审计的提示记忆（auditable prompt memories）增强了信任；对患者，减少等待时间，提升处方与本地实践的一致性。

与现有产品/工作流的接口

MANANA 设计上非参数化，利用小规模患者级训练集构建提示记忆，可轻量集成进现有推理栈：

• 作为 LLM 调用层挂载于现有医疗/业务系统，接收非结构化文本（如病历）并输出处方推荐与 deferral flag；
• 与经典 ML 模型（如 XGBoost）互补：在标准提示失败处，注入从错误中学习到的prompt memories；
• Bayesian Prompt Averaging 将提示进化轨迹转化为处方似然度，直接输出置信度分数，易于对接已有的人机协同工作流（如工单系统、医生审核界面）。

具体落地用例

1. 远程医疗平台：某跨国远程神经科服务，服务地区药物可及性差异大。利用 MANANA 在本地小样本数据上学习处方偏好与可及性约束，自动生成处方建议；当 Bayesian Prompt Averaging 得出低置信时，自动标记由总部专家复审，将专家处理量降低约 30%。
2. 电商推荐引擎：某跨境平台试图为小语种市场个性化推荐，但缺乏大量标注。使用 MANANA 从少量历史行为日志中学习本地偏好（如促销敏感度），对高置信推荐直接展示，低置信触发 A/B 测试或人工运营选品，避免模型“默认偏好”导致的体验偏差。

局限

• **MANANA** 框架在两个独立乌干达儿科癫痫队列上验证，但其对当地处方实践的依赖限制了泛化能力。若迁移至其他地区、疾病类型或医疗体系，处方指南、药物可及性和临床记录结构的差异可能导致提示记忆失效，需要重新收集数据与学习。论文未探讨跨机构或跨疾病的分布偏移，也未验证方法在更高资源环境下的适用性，难以直接推广。
• 方法依赖 **LLM** 生成处方推荐，虽然利用提示记忆校准了分布偏移，但 **LLM** 固有的幻觉风险与不确定性仍未完全消除。**Bayesian prompt averaging** 给出的置信度与延迟阈值需临床标定，且尚未在前瞻性试验中评估安全性。当模型错误高置信推荐时，延迟机制可能无法及时拦截，在真实诊疗中可能造成伤害，论文对此缺乏充分讨论。