强调规模不足，需数据多样性系数
我们首先在《Beyond Scale》论文中利用多样性系数证明了规模是不够的！
https://x.com/_akhaliq/status/1673507375515594766…
感谢@_akhaliq的推荐！
工作由@_alycialee等人领导！
2/3
https://x.com/_akhaliq/status/1673507375515594766…
感谢@_akhaliq的推荐！
工作由@_alycialee等人领导！
2/3
超越规模：多样性系数作为数据质量指标表明LLM是在形式上多样化的数据上预训练的
论文页面：https://t.co/705nalS5cD
当前预训练强大LLM的趋势主要关注模型和数据集规模的扩展。https://t.co/hJV8ss9Zgv