讨论API系统提示词与模型身份训练的影响
1. API 不会注入系统提示词,所以才能复现(客户端和网页都有系统提示词)
2. 之前的模型会做身份训练(我是谁),但是现在模型基本不会在后训练做这件事,身份认知会损害模型整体性能(虽然只有一点,但没有必要)
至于原因,最有可能的有两种:
1. 采集到一些 hf 上公开的合成 SFT
2. 之前的模型会做身份训练(我是谁),但是现在模型基本不会在后训练做这件事,身份认知会损害模型整体性能(虽然只有一点,但没有必要)
至于原因,最有可能的有两种:
1. 采集到一些 hf 上公开的合成 SFT