Anthropic的Claude因更高质量训练数据而更优秀

我问 @echen 为什么Claude比其他模型写得（和编码）好得多。他的回答是：更高质量的训练数据。

“大多数人不理解质量在这个领域的含义。他们认为你可以随便找人来解决问题就能得到好数据，这完全错误。

让我给你举个例子。

想象你想训练一个模型写一首八行关于月亮的诗。是什么让它成为好诗？

如果你不深入思考质量，你会想：这是诗吗？有八行吗？包含月亮这个词吗？这些条件都满足了吗？那好，你说这是一首好诗。

但这和我们想要的完全不同。我们在寻找诺贝尔奖级别的诗歌。这首诗独特吗？充满微妙的意象吗？它让你惊讶，打动你的心吗？它教会你关于月光本质的东西吗？它触动情感，让你思考吗？

这就是我们思考高质量诗歌时的想法。”