英伟达开源TwoTower模型：保留98.7%质量，AI生成提速2.42倍-安智兰德资讯网

英伟达开源TwoTower模型：保留98.7%质量，AI生成提速2.42倍

发布时间：2026-07-18 04:42:18 来源：安智兰德资讯网作者：娱乐

IT之家 7 月 3 日消息，英伟源英伟达昨日（7 月 2 日）发布博文，达开宣布推出 Nemotron-Labs-TwoTower。型保这是留质量一种基于预训练自回归骨干网络的离散扩散语言模型，旨在突破大模型 Token 生成的生速倍速度瓶颈。

该模型以开源权重形式在 Huggingface 平台发布，成提采用 NVIDIA Nemotron Open Model License授权协议。英伟源

核心创新：TwoTower 架构将传统扩散语言模型中的英伟源任务解耦，把“上下文表示”与“去噪过程”分离到两个独立的达开神经网络中。上下文塔保持冻结状态，型保而去噪塔经过专门训练，两者通过逐层交叉注意力机制进行协作。

英伟达数据显示，双塔架构在综合基准测试中保留了 98.7%的质量，同时实际运行吞吐量提升了 2.42 倍。

以下是具体基准测试结果对比：

任务指标	Nemotron-3-Nano-30B-A3B (AR)	Nemotron-Labs-TwoTower (diffusion)
MMLU (5-shot, acc)	78.56	78.24
MMLU-Pro (5-shot, CoT EM)	62.59	60.93
ARC-Challenge (25-shot, acc_norm)	91.72	92.66
WinoGrande (5-shot, acc)	76.09	76.09
RACE (0-shot, acc)	88.90	88.90
HumanEval (0-shot)	79.27	75.58
MBPP-Sanitized (3-shot)	74.71	74.28
GSM8K (8-shot, acc)	92.49	90.14
MATH-500 (4-shot)	84.40	80.60
MMLU Global Lite (5-shot)	73.97	73.94
MGSM (8-shot, avg acc)	80.80	80.40
质量保留率	100%	98.7%
生成吞吐量 (× AR)	1.0×	2.42×