讨论OpenAI循环架构争议,引用研究说明模型间非二元对立
更激进的观点是,围绕OpenAI疑似循环Transformer架构的信息文章所引发的激烈讨论相当糟糕。@merettm的澄清很有帮助,并且已有关于不透明序列深度的研究:https://t.co/NIX32sOcRd,该研究清楚表明,非“神经语”与“神经语”模型之间可能并不存在二元对立(尽管我希望在顶尖模型中这种深度不会太大!!)
我不再从事机械可解释性工作,但很高兴听到该领域的研究人员(在无法监测思维链的世界中将变得更加重要)也希望保持黑箱的可监测性!