train-llm-from-scratch

从零开始训练自己的LLM的完整指南，覆盖数据下载、预处理、模型构建（包括多头注意力、MLP、Transformer块）到训练和文本生成。作者用PyTorch实现了基于Attention Is All You Need的Transformer，提供从13M到2B参数的配置，并对比了不同规模模型的训练损失和生成效果。亮点是代码结构清晰、单GPU可跑通小模型、附有详细的逐步解释，适合想动手理解LLM底层原理的开发者。

打开互动版