介绍自回归U-Net语言建模方法

从字节到想法：使用自回归U-Net的语言建模

“字节对编码（BPE）和类似方案一次性分割文本，构建静态词汇表，使模型受限于该选择。我们通过引入一种自回归U-Net来放松这种刚性，该网络在训练过程中学习嵌入自己的令牌。网络读取原始字节，将其汇聚成单词，然后是单词对，最多4个单词，从而获得序列的多尺度视图。在更深阶段，模型必须预测更远的未来——预测接下来的几个单词而不是下一个字节——因此更深阶段关注更广泛的语义模式，而早期阶段处理细节。”