Discord 承认 AI 审核漏洞误封 8000 余名用户
Discord 的 AI 审核 bug 导致数千用户因正常图片被误封，凸显 AI 辅助审核的误判难题。
Discord 的 AI 人工智能审核系统（自动匹配已知有害内容库）出现漏洞，将棋盘、电子表格等正常图片误判为违规，导致过去两个月超过 8000 个账号被误封。公司已修复该漏洞，正逐步恢复所有受影响账号。
正文摘录
- title: Discord 承认 AI 审核故障导致数千用户因无害图片被误封 - sourcecompany: TechCrunch - bodymarkdown: Discord 已承认其 AI 审核系统存在一个 bug，过去两个月错误地封禁了超过 8000 个用户。原因是系统将无害图片——包括电子表格、棋盘、游戏纹理、以及纯白和灰色透明背景——错误地标记为有害内容。 该公司确认，该问题自 5 月起就已影响账户，在上周末其团队发现并修复问题之前，又有 200 名用户被封禁。目前所有受影响的账户正在陆续恢复。 这起事件凸显了 AI 辅助审核面临的日益严峻的挑战之一 —— 许多平台越来越依赖自动化系统来大规模识别非法或滥用内容。 在 X 平台的一篇 [详细帖子](https://x.com/discordsupport/status/2074282860123767135?s=20) 中，Discord 解释称，其自动化安全系统通过将上传内容与已知有害材料数据库进行匹配来工作。虽然该技术旨在检测非法内容，但公司承认有时会产生误报（false positives）。通常会有人工审核员复核内容，但一个 bug 导致系统直接封禁了受影响的账户。 “我们正在制定更好的保障措施，以防止此类事件再次发生，” 该公司写道。 我们的系统通过将内容与已知有害材料进行匹配来标记内容。这种相似性匹配可能产生误报，这就是为什么我们的信任与安全团队（Trust & Safety）始终会在采取任何行动之前复核被标记内容。