实验表明对抗训练能降低SAE损失

我认为叠加是导致对抗样本的主要原因这一假设尚未被充分探索。所以我进行了显而易见的实验：在对抗训练的模型上训练SAE。

模型经过对抗训练越多，SAE的损失似乎系统性地越低。