讨论Gemini/OpenAI注意力机制，猜测混合SWA

嗯，不知道Gemini/OpenAI使用的是什么注意力机制，我猜可能是某种混合滑动窗口注意力，结合公开信息，但不确定。