给Transformer变个形，LLM竟能变得更聪明

发布时间：2026-07-17 08:43:39 来源：安智兰德资讯网 作者：娱乐

编辑｜Panda

2026 年 6 月，更聪大模型行业正经历一场前所未有的变个变「开源海啸」：英伟达发布了拥有 550B 参数的混合架构模型，谷歌推出了多模态新版 Gemma，更聪智谱则以最宽松的变个变协议全量开源了其旗舰模型。

几乎所有厂商都在讲述同一个故事：利用混合专家（MoE）结构容纳更多参数，更聪通过更稀疏的变个变激活机制降低推理成本，借助弹性的更聪网络宽度适配不同的部署场景。

简而言之，变个变整个行业正在全力探索「如何在相同的更聪算力预算下，塞入更多的变个变参数」。

然而，更聪来自 Mila、变个变康奈尔大学和蒙特利尔大学研究者的更聪一篇新论文，提出了一个截然相反的变个变思路：如果不增加任何参数，仅仅将模型中已有的更聪参数「挪个位置」，会发生什么？

论文标题：Tapered Language Models
论文地址：https://arxiv.org/abs/2606.23670

背景：被忽视的「一视同仁」

自 2017 年开创 Transformer 架构的论文《Attention Is All You Need》以来，绝大多数语言模型都共享同一种骨架。无论是经典 Transformer、门控注意力机制、循环记忆网络，还是具备「测试时记忆」能力的新架构，其共同特征是：将若干结构完全相同的「层」堆叠在一起，每一层分配的参数量完全一致。

这就像一家连锁餐厅，无论开在繁华闹市还是偏僻郊区，都配备完全相同数量的厨师和设备，完全无视客流量的差异。这种「一视同仁」的分配方式虽然省心且易于维护，但未必是最优解。

近年来，越来越多的研究从不同角度揭示了一个事实：模型的层并非同等重要。

• 「提前退出」实验表明，模型往往在到达最后一层之前，答案已基本定型；
• 「层剪枝」研究发现，移除部分深层网络后，模型性能几乎未受影响；
• 可解释性研究则证实，浅层网络主要负责捕捉语法等「基础信息」，而深层网络才处理语义等「高级信息」。

换言之，层与层之间的重要性天差地别，但参数分配却始终如一。

这正是论文提出的核心疑问：既然层的重要性已被证明是不均匀的，为什么层的「脑容量」还要被均匀分配？

把「脑容量」往前挪

研究团队首先进行了一项简单粗暴的验证实验：将一个 440M 参数的 Transformer 模型的层分为早、中、晚三组，在保持总参数量不变的前提下，让其中一组的「前馈网络」（FFN，模型中负责存储和处理信息的核心组件，可视为每一层的「工作记忆容量」）变宽，其余两组变窄。

结果非常明确：将容量集中到前段的「头重脚轻」式分配，使模型在验证集上的困惑度（Perplexity，衡量语言模型预测准确程度的指标，数值越低代表预测越准）从 16.28 降至 15.96；而反过来将容量集中到后段，困惑度反而飙升至 17.29。

在相同的参数总量下，仅因摆放位置不同，效果便产生了显著差距。在语言模型的评测体系中，这相当于巨大的性能提升。

这一发现将问题引向了更精细的方向：与其采用「一刀切」的三段式分组，能否用一条更平滑的曲线，让容量从前到后逐渐递减？

研究者将这种思路命名为「锥形语言模型」（Tapered Language Models, TLMs）：选定模型中决定参数量的任一维度（如前馈网络宽度），使其沿深度方向单调递减，同时确保所有层的平均宽度仍等于原来的固定值。

这样，总参数量和计算量完全不变，只是分布形状从「长方形」变成了「楔形」。

团队尝试了三种递减曲线：线性递减、余弦递减、S 形（Sigmoid）递减。

这三种曲线的差异，类似于三种不同的「收摊」方式：

• 线性递减：像匀速关店，每一段时间关闭差不多数量的摊位；
• S 形递减：像突然集中宣布闭店，大部分摊位维持原样，只有中间一小段急速收缩；
• 余弦递减：介于两者之间，两头平缓过渡，中段逐渐收紧，既避免了「一刀切」导致两端灵活性损失，也避免了平均用力而错失该收缩的关键区域。

实验结果：免费的 1.84 个点

在 440M 参数的 Transformer 上，经过五种宽度比例和三种曲线的组合扫描后，余弦递减以全面优势胜出。

在最优配置下（前段宽度为基准的 1.5 倍，后段为基准的 0.5 倍），困惑度从均匀分布基线的 16.28 降至 14.44，整整改善了 1.84 个点，且全程未增加一个参数或一次额外的浮点运算。

更关键的是，这一结论并非特定架构的偶然运气。

研究团队将同一套配置（余弦递减、前后宽度比 1.5/0.5）原封不动地移植到另外三种结构迥异的架构上：带门控机制的注意力模型、具备「自我修改记忆」能力的 Hope-attention，以及拥有神经长期记忆模块的 Titans 架构，并在 760M 和 1.3B 参数两个更大规模上重新验证。

结果显示：四种架构、两种规模，所有八组对比中，经过「锥形化」改造的模型在常识推理基准上的平均准确率全部提升，在 LAMBADA 语言预测任务上的困惑度全部改善。

研究者还额外进行了长文本检索测试（Needle-in-a-Haystack），确认这种重新分配并未牺牲模型处理长上下文的能力。

为了解释这一现象背后的原因，团队测量了 GPT-2 系列模型中每一层「前馈网络」输出与已有信息流的相似程度，发现一个清晰规律：越往模型深处走，每一层新写入的内容，与已存在的信息越相似。也就是说，后段的层更多是在「重复强调」已有的判断，而非「创造」新的理解。

这恰好印证了为何将容量从后段挪到前段是合理的：前段的层真正需要这些额外的「脑容量」，而后段的层则用不上。

结语

这项研究本质上提出了一个朴素却被长期忽视的命题：模型的容量不该是均匀泼洒的资源，而应流向真正需要的地方。

在 2026 年整个行业都在比拼「谁的参数更多」「谁的架构更稀疏」的背景下，这篇论文提供了一个几乎零成本的替代方案：不需要更换架构，不需要增加参数，只需要改变分配的「形状」。

研究者也坦言，目前的最优配置是在 440M 参数模型上调优得出的，是否存在更适合不同规模、不同架构的「专属配方」，仍是开放性问题。

但更值得关注的是，论文指出这套思路并不局限于语言模型——视觉 Transformer、扩散模型、多模态模型几乎都继承了同一种「层层均分」的默认设定。如果容量分配的形状本身就是一个被长期忽视的设计维度，那么这把「藏在明处的免费杠杆」，或许才刚刚被人注意到。

团队简介

论文由 Mila（蒙特利尔学习算法研究所）的 Reza Bayat、康奈尔大学的 Ali Behrouz，以及 Mila 联合创始人、蒙特利尔大学教授 Aaron Courville共同完成。

Ali Behrouz目前是 Google Research 的研究员、康奈尔大学博士生。过去两年里，他参与设计了多个引发广泛关注的新架构，包括能够「在测试阶段学习记忆」的 Titans 架构，以及后续的 Atlas 和「嵌套学习」（Nested Learning）框架，长期专注于如何让模型更高效地利用和存储长期上下文信息。

Aaron Courville则是深度学习领域的资深学者，CIFAR AI Chair。他长期与 Yoshua Bengio 共同推动深度学习基础研究，在表征学习和生成模型方向拥有深厚积累。他也是生成对抗网络（GAN）的作者之一，并与 Ian Goodfellow 和 Bengio 合著了经典著作《Deep Learning》。

相关文章