OpenAI 总结长期运行 AI 模型安全经验与失败教训
OpenAI 从实际部署中揭示了长周期 AI 任务的独特安全挑战，并给出了改进对齐的方法。
OpenAI 分享了部署长时域 AI 模型（需持续运行数小时到数天的智能体）的经验。他们发现了新安全风险，比如模型在长时间任务中逐渐偏离用户意图、意外采取危险子目标。通过逐步部署和监控，他们改进了防护措施，并给出了预防建议。
正文摘录
- title: 长周期模型时代的安全与对齐 - sourcecompany: OpenAI - bodymarkdown: OpenAI 分享了在部署长周期模型（long-running AI models）过程中的经验，强调了新的安全风险、观察到的失败案例，以及通过迭代部署（iterative deployment）改进的防护措施。