LeCun 谈 target prop:与 backprop 同目标,稀疏自编码器下更高效
RT @ylecun:不错!这最终成为了我们一些人称之为 “target prop”(目标传播)的一个版本:每一层的输入都是一个自由隐变量,充当上一层的目标。
正如这篇论文所指出的,这可以从反向传播的 “增广拉格朗日” 表述推导出来,其中约束(第 k+1 层的输入 = 第 k 层的输出)被转化为惩罚项(第 k+1 层输入与第 k 层输出之间的散度)。
我一直希望有更多人能关注这个想法。我很高兴这正在发生!
不过我必须说,target prop 最终优化的准则与 backprop 相同,做的事情也与 backprop 一样,只是以不同的方式计算梯度,或许在生物学上更合理。
我的实验室在 2000 年代末围绕 “稀疏自编码器” 对这一想法做过一些工作。事实证明,当自编码器中的编码被正则化(例如用 L1 使其稀疏)时,target prop 似乎比 backprop 更高效。
https://t.co/uVDmnmFnbQ
正如这篇论文所指出的,这可以从反向传播的 “增广拉格朗日” 表述推导出来,其中约束(第 k+1 层的输入 = 第 k 层的输出)被转化为惩罚项(第 k+1 层输入与第 k 层输出之间的散度)。
我一直希望有更多人能关注这个想法。我很高兴这正在发生!
不过我必须说,target prop 最终优化的准则与 backprop 相同,做的事情也与 backprop 一样,只是以不同的方式计算梯度,或许在生物学上更合理。
我的实验室在 2000 年代末围绕 “稀疏自编码器” 对这一想法做过一些工作。事实证明,当自编码器中的编码被正则化(例如用 L1 使其稀疏)时,target prop 似乎比 backprop 更高效。
https://t.co/uVDmnmFnbQ