GPT-OSS-20B在编程测试中比120B更稳定。
GPT-OSS-20B 比 GPT-OSS-120B 好？
还记得OpenAI的开放权重模型吗？最新的论文评估得到结论 GPT-OSS-120B 在编程方面的确不如 GPT-OSS-20B. 跟我之前测试的结论相同.
论文中指出 HumanEval 和 MMLU 这两个测试中 GPT-OSS-20B 表现均比 120B 效果好。而我自己的评测中，20B编程表现好的方面在于稳定，即基本每次生成都能得到表现一致的效果，当然不是说20B足够好，但是它如果出问题，问题也是稳定的，这样容易修改一些。而120B会在各种地方出问题。
付我上次测试的结论：
OSS-120B 和 20B 我觉得有点摸不到头脑, 甚至 20B 生成起来我感觉代码更稳定?
OSS-120B 随机性非常大, 在这个测试里面 OSS-120B 甚至反复抽卡8次, 都没有 OSS-20B 抽卡 2 次的效果好.
这里我的猜测是 120B 每次激活专家量很少, 而总专家数量又多, 导致每 token 随机到相同专家的概率会特别小, 进而表现不是那么稳定. 而 20B 则好一些, 4/128 VS 4/32 专家. 我一会也会再测下, 看我的猜测对不对.
论文地址：https://t.co/uwFawzQwCF
还记得OpenAI的开放权重模型吗？最新的论文评估得到结论 GPT-OSS-120B 在编程方面的确不如 GPT-OSS-20B. 跟我之前测试的结论相同.
论文中指出 HumanEval 和 MMLU 这两个测试中 GPT-OSS-20B 表现均比 120B 效果好。而我自己的评测中，20B编程表现好的方面在于稳定，即基本每次生成都能得到表现一致的效果，当然不是说20B足够好，但是它如果出问题，问题也是稳定的，这样容易修改一些。而120B会在各种地方出问题。
付我上次测试的结论：
OSS-120B 和 20B 我觉得有点摸不到头脑, 甚至 20B 生成起来我感觉代码更稳定?
OSS-120B 随机性非常大, 在这个测试里面 OSS-120B 甚至反复抽卡8次, 都没有 OSS-20B 抽卡 2 次的效果好.
这里我的猜测是 120B 每次激活专家量很少, 而总专家数量又多, 导致每 token 随机到相同专家的概率会特别小, 进而表现不是那么稳定. 而 20B 则好一些, 4/128 VS 4/32 专家. 我一会也会再测下, 看我的猜测对不对.
论文地址：https://t.co/uwFawzQwCF