腾讯混元开源 Hy4 preview，总参数 770B 激活 49B
腾讯开源 770B 级 MoE 模型 Hy4 preview，激活仅 49B，代码与 Agent 能力大幅提升，进入开源第一梯队。
腾讯混元发布并开源新一代大模型 Hy4 preview。它采用混合专家架构（一种只激活部分参数的设计），总参数 770B，单次激活 49B，支持 1M 上下文。模型在代码、办公、游戏和科研场景重点优化，还首次参与自身训练优化，推理吞吐提升 31.8%。API 价格输入每百万 tokens 6 元，输出 18 元。
正文摘录
.jpg) 今天， 腾讯混元发布并开源新一代大语言模型 Hy4 preview 。 该模型总参数达到 770B，单次推理激活 49B，支持 1M 上下文。代码、办公、游戏和科学研究，是这次升级重点覆盖的场景。 Hy4 preview 还首次参与混元自身的训练方法、数据策略、评估体系和底层算子优化。在一轮推理基础设施优化中，模型分析系统瓶颈并围绕算子融合、通信优化持续迭代，最终将端到端吞吐较基线提升 31.8%。 这是混元今年 2 月重建基础设施后推出的又一个大版本。与上一代 Hy3 preview 的 295B 总参数、21B 激活参数和 256K 上下文相比，Hy4 preview 在模型容量和上下文窗口上都跨出了一大步。 Hy4 preview 的模型权重及 FP8 版本已经开放，采用 Apache 2.0 许可 。用户也可以在 WorkBuddy、CodeBuddy 国内版及国际版、元宝和 ima 中体验，并通过腾讯云 TokenHub、OpenRouter 调用 API。