研究:AI生成文章曾超越人类但现持平,人类内容仍占优。
目前,互联网上AI创作的文章数量已经超过了人类撰写的文章数量,但 AI 生成的文章并未完全淹没人类写作内容
作者:梅根·莫罗内(Megan Morrone)
新近发布的一份研究表明,虽然AI生成的新文章曾短暂超过人类撰写的内容数量,但如今两者比例大致相当。
为何这很重要?
长期以来,研究人员一直担忧,如果AI生成的内容主导了互联网,那么AI模型将陷入自己产生的数据泥潭,导致模型性能退化甚至「模型坍塌」(model collapse)(类似于反复复印的纸张,质量逐渐变差,直到无法辨认)。
整体趋势
欧洲刑警组织2022年的一项报告预测,到2026年,网络上90%的内容都可能由AI生成。
- 但根据SEO公司Graphite对2020至2025年期间6.5万个网页的分析,自2023年ChatGPT发布后,AI撰写的文章数量虽然快速增加,但从2024年11月短暂超越人类内容后,随后两者比例就一直维持在相当的水平。
研究方法
Graphite公司使用了一款名为Surfer的AI检测工具,分析了来自Common Crawl(一个包含超过3000亿网页的公开数据库)的随机样本网页。
- 这些网页发布于2020年1月至2025年5月之间,被标记为文章或列表类(listicles)。
- 如果某篇文章有一半以上的内容被判定为非人类撰写,则归为AI生成。
具体情况如何?
实际上,区分AI和人类写作非常困难。
- 为评估Surfer的准确性,Graphite使用GPT-4o自己生成了一批文章,并用另一批发布在ChatGPT出现前(大概率为人类所写)的文章进行测试。
- 结果Surfer将人类写作误判为AI生成的比率为4.2%(假阳性),将AI内容误判为人类写作的比率为0.6%(假阴性)。
- Graphite还发现,在谷歌搜索排名前列的文章中,有86%由人类撰写,只有14%是AI生成的。
- 类似趋势也出现在聊天机器人领域。ChatGPT和Perplexity引用的文章中,人类撰写的占82%,AI生成的仅占18%。
- 即使AI生成的文章能进入谷歌搜索结果,排名通常也低于人类写作的内容。
但是问题并不简单:
研究人员告诉Axios,以目前的技术和定义,精准统计AI生成内容比例几乎不可能。
- 随着人类与AI的合作愈发紧密,很难简单地区分到底一篇文章是人写的还是AI写的。
- 谷歌发言人也指出,人们使用AI参与内容创作的程度差异巨大,难以明确区分。
- 亚马逊AWS副总裁、加州大学洛杉矶分校计算机科学教授Stefano Soatto表示:“如今的情况更多是一种人机共生(symbiosis),而不是二元对立的关系。”
- 谷歌发言人强调,并非所有AI生成的内容都是垃圾内容。
有趣的是:
Common Crawl数据库并未收录整个互联网,但它是大型语言模型最重要的训练数据来源之一。
- 因此,一些有付费墙的网站(通常内容由人类创作)正在禁止Common Crawl抓取它们的内容。
- 这意味着实际上人类创作的内容总量可能比Graphite的数据还要更多。
值得关注的是:
标注清晰的AI生成内容在搜索中表现不错,但搜索引擎自动生成的AI摘要效果并不理想。
- Pew上周的一项调查表明,用户对搜索结果中AI生成的摘要并不太感兴趣:只有20%的用户认为这些摘要「非常有用」,仅有6%表示非常信任。
总结一句话:
至少目前,人们更愿意阅读由人类创作的内容。
作者:梅根·莫罗内(Megan Morrone)
新近发布的一份研究表明,虽然AI生成的新文章曾短暂超过人类撰写的内容数量,但如今两者比例大致相当。
为何这很重要?
长期以来,研究人员一直担忧,如果AI生成的内容主导了互联网,那么AI模型将陷入自己产生的数据泥潭,导致模型性能退化甚至「模型坍塌」(model collapse)(类似于反复复印的纸张,质量逐渐变差,直到无法辨认)。
整体趋势
欧洲刑警组织2022年的一项报告预测,到2026年,网络上90%的内容都可能由AI生成。
- 但根据SEO公司Graphite对2020至2025年期间6.5万个网页的分析,自2023年ChatGPT发布后,AI撰写的文章数量虽然快速增加,但从2024年11月短暂超越人类内容后,随后两者比例就一直维持在相当的水平。
研究方法
Graphite公司使用了一款名为Surfer的AI检测工具,分析了来自Common Crawl(一个包含超过3000亿网页的公开数据库)的随机样本网页。
- 这些网页发布于2020年1月至2025年5月之间,被标记为文章或列表类(listicles)。
- 如果某篇文章有一半以上的内容被判定为非人类撰写,则归为AI生成。
具体情况如何?
实际上,区分AI和人类写作非常困难。
- 为评估Surfer的准确性,Graphite使用GPT-4o自己生成了一批文章,并用另一批发布在ChatGPT出现前(大概率为人类所写)的文章进行测试。
- 结果Surfer将人类写作误判为AI生成的比率为4.2%(假阳性),将AI内容误判为人类写作的比率为0.6%(假阴性)。
- Graphite还发现,在谷歌搜索排名前列的文章中,有86%由人类撰写,只有14%是AI生成的。
- 类似趋势也出现在聊天机器人领域。ChatGPT和Perplexity引用的文章中,人类撰写的占82%,AI生成的仅占18%。
- 即使AI生成的文章能进入谷歌搜索结果,排名通常也低于人类写作的内容。
但是问题并不简单:
研究人员告诉Axios,以目前的技术和定义,精准统计AI生成内容比例几乎不可能。
- 随着人类与AI的合作愈发紧密,很难简单地区分到底一篇文章是人写的还是AI写的。
- 谷歌发言人也指出,人们使用AI参与内容创作的程度差异巨大,难以明确区分。
- 亚马逊AWS副总裁、加州大学洛杉矶分校计算机科学教授Stefano Soatto表示:“如今的情况更多是一种人机共生(symbiosis),而不是二元对立的关系。”
- 谷歌发言人强调,并非所有AI生成的内容都是垃圾内容。
有趣的是:
Common Crawl数据库并未收录整个互联网,但它是大型语言模型最重要的训练数据来源之一。
- 因此,一些有付费墙的网站(通常内容由人类创作)正在禁止Common Crawl抓取它们的内容。
- 这意味着实际上人类创作的内容总量可能比Graphite的数据还要更多。
值得关注的是:
标注清晰的AI生成内容在搜索中表现不错,但搜索引擎自动生成的AI摘要效果并不理想。
- Pew上周的一项调查表明,用户对搜索结果中AI生成的摘要并不太感兴趣:只有20%的用户认为这些摘要「非常有用」,仅有6%表示非常信任。
总结一句话:
至少目前,人们更愿意阅读由人类创作的内容。