微软用合成企业环境评测 Copilot 可靠性
微软用全合成企业环境替代真实数据来评测 Copilot，在不接触客户隐私的前提下逼近真实业务的复杂度。
真实企业数据含敏感信息，不能用于测试。微软研究院因此搭建行业评估数据生成平台，基于 ONET 职业数据、招聘启事、SEC 文件等公开来源构建合成企业环境，模拟真实用户、会议、邮件与组织架构，找出通用基准测不出的问题。
正文摘录
 内容速览 - 在企业级规模上评估 Microsoft Copilot，需要能反映真实组织全部复杂度的测试数据；然而真实企业数据包含敏感信息，在任何情况下都不能用于评估。 - 为了解决这个矛盾，我们构建了 Industry Evaluation Data Generation Platform（行业评估数据生成平台）：以公开可得的真实数据源为基础，构建全规模合成企业环境，这些数据源包括 ONET 职业数据、在线招聘信息以及 SEC 申报文件。 - 这些合成环境模拟真实业务流程，帮助 Microsoft 发现通用基准测试会漏掉的问题。 - 安全与隐私从设计之初就内嵌于平台之中。每个环境都是完全合成的，自动化内容安全检查确保生成的数据不含有害内容或可识别个人身份的材料。 每天，全球数以百万计的知识工作者依靠 Microsoft Copilot 起草文档、总结会议、检索相关信息并提升工作效率。在幕后，这由一组 AI 系统驱动，而要确保它们按预期工作，就需要一套经过深思熟虑的评估方法。在 Microsoft，我们清楚高性能并非来自猜测，而是来自持续测试、度量和迭代。 医疗机构不断汇总来自各团队的安全信号，以便更快做出更好的决策，这些决策会直接影响患者结局和监管信心。 他们可能会让 Copilot 总结一场会议，并为团队提取待办事项。