动态

讨论PyTorch AdamW权重衰减调度

Ross Wightman
此外,当提到“权重衰减没有调度器”时……PyTorch原生AdamW隐式地随着学习率调度(缩放)来调度权重衰减。至少我是这样看待PyTorch实现与原始论文的区别……
动态Ross Wightman2026-01-05原文

相关内容