反驳基准测试批评，强调规模数据和用户反馈的重要性。

人们想通过说他们的周末测试套件在某个愚蠢的一次性基准上表现更好来抨击这一点，但在规模上这是真的。这些工具很复杂，必须考虑用户行为。除非你拥有庞大的用户群向你发送数据，否则你甚至不明白这意味着什么。所有这些都会作为反馈发送给模型，并被训练成特定行为。我认为被误解的部分是，重现完全相同的环境极其容易。测试套件中没有任何隐藏的东西，你可以观察并重现它。跟上它有点繁琐，但并不难。所以即使他们是对的，这也是站不住脚的。