蚂蚁开源双重安全框架 应对智能体行为风险与多模态安全
蚂蚁开源面向智能体和多模态的安全框架,通过前置检测和可扩展设计,从架构层面应对不断演变的AI安全风险。
随着Claude Code等智能体暴露出后门、滥用工具等风险,行业认识到仅靠补丁不够。蚂蚁开源的SingGuard-NSFA和SingGuard框架,将安全检查前置,支持动态规则和可扩展分类,为智能体行为和多模态内容提供底层安全基础设施。
正文摘录
就在前两天,工信部 NVDB 平台发布风险预警,明确指出 Claude Code 存在 安全后门隐患 ,可在用户不知情的情况下收集敏感信息。 从横空出世到快速普及,再到漏洞频发、信任受损,这几乎是当前 Agent 产品共同的发展轨迹。 滥用工具、恶意代码生成、提示注入等诸如此类的行为风险,早已不是一两个补丁就能彻底解决的。 面对新的风险形态,一个越来越明显的趋势是,行业开始把注意力从“漏洞修补”转向“安全框架”本身。 最近蚂蚁开源的 SingGuard-NSFA 和 SingGuard ,就是其中比较值得关注的一次尝试。 之所以聊到这个项目,也是因为它的背景比较有意思。做这个框架的团队来自 蚂蚁 ,一家在安全领域拥有长期积累的公司。 先是支付安全、风控体系,再到如今的 AI 安全,安全能力在这家公司内部本身就是一条持续演进的技术路径。 其实 OpenClaw 也好,Claude Code 也罢,它们的背后都指向同一个事实: 风险的源头,已经从内容变成了行为本身。 过去做 AI 安全,本质还是互联网时代的那套打法,只需要紧盯模型输出完成内容审核即可。 但大模型早就不满足于聊天了,调工具、跑代码,它的手越伸越长,能触及的风险自然也越来越多。 在此基础之上,多模态也来横插一脚。现在风险不止于文本,还可能藏在图像细节、图文组合,甚至模型自己的响应中。 更棘手的是,不同业务的安全红线也在持续动态变化,昨天合规,今天换个场景就可能踩线。 已知风险平时靠打打补丁还能勉强应付,所谓兵来将挡水来土掩,那么未知风险和不断变化的规则又如何解决呢? 所以答案很清晰了,单靠打补丁抑制风险是治标不治本,行业缺的不是一个又一个补丁,归根结底是一套能定义安全边界、应对未知风险和规则变动的 底层框架。