不拼万亿参数拼降本:腾讯大模型的算盘
11月21日凌晨,腾讯首席AI科学家姚顺雨与混元团队在Reddit平台展开了一场持续两小时的公开问答。这是混元团队首次在海外开发者社区直面全球用户的密集提问。当行业竞逐仍在围绕3万亿甚至5万亿参数的超大模型展开时,腾讯展示了一条截然不同的技术路径——用770B总参数、激活49B的MoE架构模型Hy4,去对抗那些体量十倍于己的竞争对手。
这场问答释放出的核心信息远比参数数字本身值得玩味。
不在单一赛道上死磕
开源大模型领域的“规模定律”(Scaling Law)在过去两年被视为近乎铁律:模型参数越大,能力越全面,对数据的表达颗粒度越细,智能上限就被抬得越高。今年2月,月之暗面(Kimi)发布的K3模型以3万亿参数引发行业震动,随后多家企业相继宣布迈入“万亿俱乐部”。
在这种背景下,仍处于700B量级的腾讯混元自然面临外界质疑。有参与AMA的开发者直截了当地追问:为什么Hy的参数还这么小?
混元团队给出的回答并不回避问题。他们承认Scaling Law的有效性,并表示“下一代Hy模型的规模一定会进一步显著扩大”——这等于说,腾讯并不是放弃了更大的模型,而是当前阶段的Hy4选择了先打牢基础。
更具信息量的其实是他们的论证逻辑:小规模模型经过扎实的后训练和大规模强化学习,也能在特定任务上超越更大参数模型的表现,同时保持更低的运行成本。换言之,腾讯把赌注押在了“后训练效率”而非单纯的“预训练数据堆砌”上。这种策略选择背后,是对大模型商业化落地的现实考量。
“精打细算”背后的算力账本
大模型真正的烧钱环节不在训练期,而在推理服务阶段。当一个模型部署上线后,每次用户提问、每个API调用都会消耗GPU算力资源——这笔持续发生的OPEX(运营支出),远比一次性训练投入更难承受。
为此,混元团队在架构设计上做了一系列取舍。他们在GQA(分组查询注意力)和MLA(多头潜在注意力)两种方案间反复权衡,最终选择MLA搭配DSA(DeepSeek稀疏注意力)。这套组合的优势在于KV缓存占用更少,同时在推测解码阶段降低了GPU算力瓶颈。
量化这一变化的直观体现是:配备96GB显存和128GB内存的设备就能跑起Hy4 Flash版本。大多数权重可放在显存中,部分专家层和Engram模块则卸载至系统内存。对于许多中小型企业和独立开发者而言,这个门槛意味着本地化部署不再是一个遥不可及的概念。
这也解释了为什么腾讯同时将Hy4-mini和更轻量的Flash-Lite列入研发路线图,并评估推出240亿至310亿参数的稠密模型。端侧小模型不仅是技术储备,更是未来云服务产品矩阵的价格分层工具——旗舰模型提供天花板能力,轻量模型覆盖长尾需求,形成完整的产品梯度。
谁的生意,谁的账本
从商业角度看,腾讯此举释放的信号清晰可见:AI行业的竞争维度正在发生迁移。
过去一年,市场关注的焦点是“谁参数最大”“谁跑得最快”。但当OpenAI将GPT-6.2 Astra API输入价格下调20%至$8/百万token、美国Apollo集团为SpaceX签下440亿美元GPU融资租赁创历史新高时,整个算力产业链的成本结构压力已越来越不容忽视。英伟达一周暴跌20%引发的板块抛售潮也在提醒投资者,AI基础设施投资回报率的悬念尚未闭合。
腾讯云作为国内主要云服务商之一,其推理成本下降的直接受益者是两类客户:一类是需要高频调用大模型API的企业应用开发者,另一类是使用腾讯云TCE私有化部署方案的机构客户。前者对价格极为敏感,推理成本每降一个百分点都可能意味着大量中小企业的接入意愿被激活;后者则关注整体TCO(总拥有成本),本地化部署能力的完善有助于增强其在政企市场的竞争力。
值得注意的是,腾讯并非唯一一个意识到“性价比”重要性的玩家。OpenAI的降价、Claude系列的持续迭代都在证明:前沿大模型的定价权争夺已经提前进入商业化阶段。在这个阶段,谁能以更低的推理成本提供相近甚至更好的能力,谁就能在产品层面获得先发优势。
接下来要看什么
腾讯此次公开技术路线,本质上是向外界宣告自己已进入“规模化计费期”的前夜。但这条路能否走通,有几个关键变量值得关注。
首先,Hy4-mini和Flash-Lite的具体发布时间和实际性能表现。如果小模型能在推理速度和质量之间实现较好平衡,将成为腾讯云服务快速获客的重要抓手。其次,端到端推理成本的具体降幅数据——目前“压缩KV缓存”属于技术层面的定性描述,最终落到商业账单上的数字才是检验成效的标准。第三,团队提到的“下一代Hy模型规模将显著扩大”这一承诺何时兑现,以及是否会重新触发算力资源的新一轮囤积。
此外,安全训练方向的调整也值得留意。混元团队明确表示排除了进攻性攻击数据,聚焦防御性任务与漏洞修复。在AI监管日趋严格的背景下,这种自限策略可能是为了规避合规风险,但也可能在一定程度上牺牲部分边界能力。
最后,RSI(递归自我改进)仍处于早期阶段——这意味着腾讯短期内不会把“让模型自己训练下一代模型”作为技术卖点,而是优先夯实基础智能并与产品结合优化体验。务实,但也不乏遗憾。
大模型竞赛的下半场才刚刚开始,真正决定胜负的可能不是谁的模型更大,而是谁的模型更便宜且够用。腾讯的算盘打得早,但能不能算赢,还需要时间来验证。


