斯坦福、MIT等发布全球最大系统提示词库及审计框架
斯坦福等发布全球最大系统提示词库,并提出首个审计框架,发现近四成 AI 产品系统提示词存在违规。
系统提示词是开发者编写的、对用户不可见的 AI 行为准则,决定 AI 人格和回答边界。斯坦福、MIT 等机构发布了全球最大的系统提示词库,收录 400 多款 AI 产品的 1000 余个提示词,并提出首个审计框架 AISPA,对 88 个产品进行审计,发现近四成产品存在至少一条违反标准的情况。
正文摘录
.jpg)  系统提示词,顾名思义,是规范 AI 模型系统如何回答问题的一套行为准则,它定义了这个 AI 的人格,什么问题可以回答,如何调用内部工具,以及如何处理和用户的关系等等。它完全由公司的开发者编写,对用户不可见。不同的系统提示词,可能会让 AI Agent 给出完全不同的答案。  系统提示词对于模型输出答案的影响 但开发者编写的系统提示词,一定是 100% 安全可信的吗? 事实上,已经有很多关于 AI 产品对用户产生负面影响的报道。美国佛罗里达州一名母亲起诉 Character.AI,指控其聊天机器人鼓励她的儿子结束自己的生命。