腾讯宣布开源 Hy4 flash,该模型的总参数是 220B,每个 token 只激活 12B。这个比例本身就是这次发布的核心卖点。混元团队在模型卡里用了「迄今最具成本效益的 Hy 模型」这个说法,配上另一个数字就更直观了:单任务平均成本只有 Hy4 的 1/20,DeepSeek-V4.1-Flash-1017 的 1/8。

结构上改了三处
相比上一代 Hy4,Hy4 flash 做了三个架构调整。
混合注意力:稀疏注意力(IndexPool)和滑动窗口注意力(SWA)按 1:3 交错排布。稀疏层负责从更长的上下文里按组挑出最多 2048 个 token,SWA 层则只管 512 token 的因果窗口。
LatentMoE:路由专家在低维潜空间里运算。每层 512 个路由专家,每个 token 激活 16 个,另加 1 个共享专家。MoE 潜维度和专家中间维度都是 1536。
N-gram 嵌入(Engram):主干网络上加了可学习的一元和二元表示,通过多头哈希查表检索。这部分单独占 63.5B 参数,是总参数里的大头。哈希词表每个头 1030 万,8 个头,四个指定层(第 1、11、21、31 层)插入。
这三处改动的共同结果是 KV cache 大幅缩小——降到 Hy3 的 1/24、Hy4 的 1/6。长上下文的显存开销是推理成本里最硬的一块,这一项直接决定了单任务能便宜到什么程度。
一个 0.85B 的投机解码器
模型自带一个 5 层的 drafter,叫 DFly2,0.85B 参数。它复用目标模型的 KV cache 和稀疏索引来做投机解码,官方说这是「低且恒定的成本」——意思是上下文拉到多长,这部分开销都不怎么涨。
配合 megakernel、4-bit 量化和 DFly2,解码速度超过 150 tokens/s。
性能:小胜 preview,但远不及 Hy4
在自建的 WorkIndex 上,Hy4 flash 得 42.1 分,Hy4 preview 是 39.7 分,Hy4 本体是 51.4 分。
WorkIndex 是腾讯内部建的评测集,8 个子集覆盖幻灯片创建与编辑、人机协同写幻灯、人机协同写 Markdown、文档编辑、表格修复、音视频处理和视觉理解。同时配了 7 个公开 agent 基准:DeepSWE、ProgramBench、Terminal-Bench 4.0、APEX-Agents、AutomationBench、HLE、OSWorld 2.1。
官方给的定位很清楚:日常生产力任务用 flash,比如深度搜索、文档处理、做幻灯片、简单前端 demo、computer use。长周期软件工程这类复杂任务,还是建议用 Hy4,理由是「更高的智能天花板」。
这个取舍值得注意。它没有把 flash 包装成「全面超越」,而是明确划了一条线。
盲测里和 Claude Haiku 5.5 几乎打平
用户盲测的结果是:满意度 2.79/4,Claude Haiku 5.5 是 2.81/4。中位端到端完成时间 6.7 分钟,单任务成本 0.26 元人民币,是所有参评模型里最低的。
0.26 元这个数字是全文最值得记住的。一个能在 6.7 分钟内完成工作任务的模型,成本相当于一瓶水的零头。
开源了什么
这次一并放出三个版本:Hy4 flash、Hy4 flash-FP8,以及预训练的 Hy4 flash-base。渠道是 GitHub、Hugging Face、ModelScope 和 GitCode,另外社区有人做了 GGUF 版本(AngelSlim/Hy4-flash-GGUF),方便本地跑。
协议是 Tencent Hy License,不是标准的 Apache 或 MIT。这一点对商业使用有影响,需要自行核对条款。
模型原生的多模态输入(文本加图像)、最多 100 万 token 的上下文窗口。视觉编码器改编自 SigLIP2-So400m-Patch16-Res512,27 层、隐藏维度 1152,通过 MLP 投影接进主干。
腾讯在公告末尾留了一句「我们也在加速开源 Hy4 模型」。这句话的潜台词是:更强的那个还在后面。
参考来源: