ICML 2026 | 当大模型开始发明自己的语言：如何让 LLM 用更少 Token 完成高强度推理

发布时间：2026-07-17 11:38:56 来源：安智兰德资讯网 作者：休闲

原文作者：公众号“专知”
转载来源：雷峰网
论文标题：When LLMs Develop Languages: Symbolic Communication for Efficient Multi-Agent Reasoning
论文作者：Zhengqi Pei,当大的语度推 Qingming Huang, Shuhui Wang
作者单位：中国科学院计算技术研究所，中国科学院大学

ICML 官方链接：
https://icml.cc/virtual/2026/poster/61557

论文链接：
https://openreview.net/pdf?模型id=ovpL0ujD6j

代码与后续工作：
https://github.com/pzqpzq/LSF_MDia

成果应用：
https://github.com/pzqpzq/Principia

导读

Chain-of-Thought (CoT) 通过让大模型“写出”思考过程，在复杂任务中证明了其有效性。开始然而，发明如果推理链的自己主要接收者或处理者是另一个 LLM 而非人类，基于自然语言的言何用更长推理链可能并非最优中间表示。

受此启发，完成本文提出 CLSR (Communicative Language Symbolism Routing)，高强探讨一个更底层的当大的语度推问题：LLM 是否必须使用自然语言来组织推理？

CLSR 认为，在正确性与推理成本的模型双重压力下，多个 LLM Agent 可以自主生成并演化出各类机器语言符号体系，开始即 Language Symbolism Frameworks (LSFs)。发明CLSR 则是自己针对这些符号体系的管理机制。

核心成果：
* 在多类推理 Benchmark 及多种开源 Backbone 上，言何用更CLSR 通常可将面向延迟的完成生成端 Completion Tokens 降低 3–6 倍。
* 基本维持 Raw CoT 的准确率水平，并在若干设置中获得更优的 Accuracy–Token Pareto Frontier。
* 提出新范式：推理效率的关键不仅在于“少说话”，更在于使用更高信息密度、更可复用、更可路由的中间语言。

0. 概要

CLSR 所指的“语言”，并非人类自然语言，也不是声称 LLM 获得了人类式的语言能力，而是指操作意义上的离散符号通信协议，简称为 LSF (Language Symbolism Framework)。

CLSR 允许大模型多智能体系统在推理能力与能效的双重压力下，批量产生各式各样的 LSF 协议。具体而言，给定任务、模型族、Token 预算及目标准确率，CLSR 能让系统生成、复用、自主演化若干套包含符号、语法、推理操作、有效性约束和经验 Profile 的中间表示（即 LSF）。

这些 LSF 协议可被 CLSR 灵活调用、比较、路由、组合、淘汰，并可在后续任务中持续使用。

因此，CLSR 解决的是一个更具体、更可实验化的问题：

在 Black-box LLM 设定下，能否自动发现一类离散、可存档、可复用的中间推理协议，使其比自然语言 CoT 更接近 Accuracy–Token Frontier？

重要性背景：
当前主流推理系统已非单模型一次性输出，而是涉及 Solver、Router、Critic、Verifier、Tool User、Aggregator 等多角色协作。由于这些消息的主要处理者是机器，自然语言的可读性、修辞连贯性和解释性冗余可能转化为额外的带宽成本。

CLSR 将“推理链”从一段文本重新定义为一种带宽受限的状态传输机制。

1. 问题背景：Chain-of-Thought 难以兼顾推理精度和推理成本

CoT 的成功源于一个朴素事实：对复杂问题显式生成中间步骤，比直接给出答案更稳定。无论是数学推导、科学问答还是多跳检索，外化中间状态都能降低一次性解码的难度。

但 CoT 带来一个结构性成本：它默认中间状态必须以自然语言散文 (Prose)形式展开。

• 对人类：自然语言是合理的沟通接口。
• 对模型：未必是最合理的交互接口。

标准 CoT 中常见的“首先我们考虑……”、“因此可以看出……”等表述，对人类友好，但对模型继续推理所需的最小状态而言，属于低信息密度形态。尤其在自回归解码中，生成端 Token 不仅影响成本，还直接决定延迟和吞吐。

现有缓解方法主要分为三类：

1. Prompt Optimization：优化自然语言指令表面形式。优化对象多为临时“指令字符串”，而非持久可用的符号协议。
2. Short Reasoning Prompting：如 Chain-of-Draft、Sketch-of-Thought、Compressed CoT。让模型少写或写草稿。风险在于：短不等于有效，若压缩删掉变量绑定、候选排除、证据链接或验证状态，准确率会下降。
3. Program-Aided Reasoning：如 PoT、PAL。将推理转为程序由外部解释器执行。依赖人类预设语言和外部 Executor，未直接回答“LLM 自身能否发现适合自己的中间符号系统”。

CLSR 的切入点：
不同于上述方法，CLSR 不将 CoT 视为需压缩的文本，而是视为机器间的通信问题：

如果 Token 是带宽，那么推理效率的本质就是：每个 Token 能携带多少对答案有用的状态。

研究目标从“减少字数”转向“提高单位 Token 的有效信息密度”。

2. 理论视角

CLSR 将测试时推理形式化为一个 Constrained Stochastic Control Problem。

CLSR 主要关注第二类操作，目标是让模型发展出更紧凑、结构化、适合自身解码习惯的符号协议。

这一视角解释了为何“永远更短”不是正确目标：
* 题目越难，所需 Token 越多；
* 目标准确率越高，允许误差越小，所需信息越多。

高效推理系统必须能根据问题难度自适应分配 Token：简单题极短，难题则保留分解、验证和纠错空间。

3. LSF：可复用的机器推理协议

CLSR 的基本单元是 Language Symbolism Framework (LSF)。论文将其表示为：

LSF 与普通 Prompt 的区别：
* Prompt：一次性自然语言指令。
* LSF：更像一张协议卡，可多次调用、评估、由 Router 选择或组合，并在演化中被继承、变异和淘汰。

LSF 的直观形态：
* 数学类 LSF：倾向于保留变量绑定、子目标、变形操作、校验标签和最终答案字段。
* 科学问答类 LSF：强调证据等级、候选排除、概念约束和短验证。
* 多跳检索类 LSF：保留证据桥、Null Guard、Support Status 和 Answer Contract。

概念示意：

[bind] x=..., y=...[sub] need: eliminate distractor B/C[op] evidence(A) > evidence(D); constraint: mechanism match[chk] no contradiction with condition-2[ans] A

此类表达不追求文学性或人类完全自解释，而是追求：在尽可能少的 Token 中，保留足以让模型继续推理、验证或输出答案的结构化状态。

4. CLSR 如何工作：生成、演化、路由

CLSR 分为三个阶段：LSF Synthesis、LSF Evolution、Test-Time Routing。

4.1 从样例中生成初始 LSF

给定 Benchmark 训练样例，CLSR 采样一批 Exemplars 作为上下文，要求 LLM 设计一种能在保持推理能力同时减少 Token 的 LSF。
* 无人工编辑：默认不对符号表、语法或规则进行人工编辑，人类仅给出高层目标（“正确且 Token-efficient”）。
* 多样化初始池：较高采样温度产生从 Strict LSF（接近机器式压缩）到 Soft LSF（保留较多自然语言结构）的候选。

4.2 通过选择压力演化 LSF

CLSR 使用迭代 Bootstrapping 过程逐代改进 LSF Pool：

1. 用当前 LSF 回答新的训练/验证问题；
2. 记录答案正确性与 Completion Token 成本；
3. 选择同时正确且短的 High-Leverage Traces；
4. 将这些 Trace、父代 LSF 和失败信息反馈给 LLM；
5. 生成下一代 LSF，重复评估、选择、变异。

关键点：
* 这里的“Agent”并非独立神经模块，而是由 Backbone、随机种子、样例子集和生成上下文定义的 Black-box LLM Proposal/Critique/Mutation Worker。
* 增加 Agent 数量即扩展符号协议搜索空间。
* 此过程类似机器语言体系演化：正确性是 Communicative Success，Token 长度是 Production Cost。能反复采用的符号被保留，无法稳定支持答案压缩的方式被淘汰。

与 Prompt Engineering 的区别：
* Prompt Engineering 优化“如何提问模型”；
* CLSR 优化“模型之间应该用什么协议传递推理状态”。

4.3 测试时路由：让不同问题使用不同方言

演化得到 LSF Pool 后，CLSR 在测试时不固定使用某一个 LSF，而是由 LLM-Router根据问题和 LSF Profile 实时生成协议计划。

主要包含三类推理模式：

核心区别：
CLSR 的目标并非把所有回答压到最短，而是在预算约束下动态决定何时压缩、何时冗余、何时验证。
* 简单题：单个低成本 LSF 即可。
* Hard Reasoning：Router 可主动花费更多 Token 进行分解、交叉检查和多轮组合。

5. 实验设置

评估 Benchmark (7类)：
MMLU-Pro、GPQA-main、GSM8K、MATH500、AIME21–24、ScienceQA、HotpotQA。覆盖知识密集型 QA、专家级科学问答、算术推理、竞赛数学、多选科学问答和多跳问答。

Backbone：
LLaMA3-8B、DeepSeek-R1-Distill-Qwen3-8B、Qwen3-8B、Qwen3-32B 等开源模型。

对比基线：
Raw CoT、CoD、CCoT、SoT，以及 PoT、PAL、Plan-to-Solve、PromptBreeder 等程序化或 Prompt 优化基线。

评价指标：
1. Accuracy：最终答案准确率。
2. Completion Tokens：测试时生成端 Token（包括 LSF 响应、Router Plan、中间响应和聚合等生成部分）。

核心 Claim：
CLSR 在多模型、多任务上更稳定地把系统推向更好的 Accuracy–Token Frontier：在接近 Raw CoT 准确率的同时，显著减少生成端 Token；在相近 Token 预算下，通常比简单短推理提示保留更多有效状态。

6. 主结果：CLSR 改善的是 Accuracy–Token Frontier

下表摘取论文主表中的若干代表性结果。每个单元格为 Acc / Tkn，Tkn 表示平均生成 Completion Tokens。

结论：
* CLSR 的收益不仅来自小模型或简单任务。即使在强推理模型或长推理任务上，自然语言 CoT 中仍存在大量对机器继续推理非必要的表述。
* 与短推理 Baseline 相比，CLSR 并非只是“更短”。以 Qwen3-8B 为例：

本质揭示：
CLSR 不是在自然语言 CoT 上做“文风压缩”，而是在寻找一种更合适的状态编码。短推理提示可能删掉关键中间状态；LSF 则试图用更紧凑的符号保留这些状态。

7. 机制分析一：CLSR 的收益来自“换码”，而非机械缩写

Accuracy–Token 曲线显示，CLSR 在 MMLU-Pro、GPQA、GSM8K、MATH500 等任务上整体更接近 Pareto Frontier。

分析：
当 Token 预算增加时，CLSR 的额外 Token 往往更能转化为准确率收益。这与理论一致：一个好的协议使得每个 Token 更可能携带变量、约束、候选排除、证据绑定或验证状态，而非重复叙述。

不同任务上成功 LSF 的结构差异：
* 知识密集型 QA：压缩重点是证据筛选、选项排除与短验证。
* 数学推理：压缩重点是变量绑定、等式变形、子目标与 Check。
* 多跳问答：压缩重点是 Evidence Bridge、Support Status、Null Guard。
* 格式敏感任务：压缩重点是 Output Contract 与 Parseability。

这说明 LSF 是一组 Task-Conditioned、Model-Conditioned的推理协议。

8. 机制分析二：难题更需要把 Token 用在验证环节

CLSR 的重要 Ablation 是多轮数 $T$。以 Qwen3-8B 为例：

若将 CLSR 理解为“让模型尽可能短”，则 $T=1$ 应总是最优；但实验表明并非如此。对于 GSM8K、MATH500、GPQA，$T=3$ 使用更多 Token，却显著提高准确率，同时仍少于 Raw CoT。

启示：
针对难题推理，CLSR 的原则不是“少说”，而是：

把 Token 从自然语言叙述转移到结构化验证、分解和纠错上。

许多失败的压缩方法删除了 Verification；CLSR 则通过 Router 决定何时需要更严格的 LSF、何时需要多 LSF 聚合、何时需要多轮组合。

9. 机制分析三：CLSR 与程序化推理的关系

PoT 和 PAL 等程序化推理方法将推理转为代码，由外部解释器执行。CLSR 不依赖外部 Executor，但通过多轮 LSF 协议，在一定条件下可近似一种“模型内部的程序化状态更新”。

理论上，在 Interpreter-Realizability 前提下，多轮 LSF Protocol 可条件性地 Subsume Program-Execution Pipeline。

Qwen3-8B 上的比较：

谨慎解读：
* PoT/PAL 的 Token 统计仅计算生成程序所用的 LLM Decoding Tokens，不等同于整个系统的所有执行成本。
* CLSR 的优势不意味着外部 Executor 不再重要。严格数值计算、长程序执行、形式验证等任务，外部解释器仍有独特价值。

CLSR 的定位：
当任务所需的符号操作仍在模型内部可实现范围内时，LSF 提供一种 Black-box、离散、可存档、可路由的中间协议。它不替代所有程序执行，而是扩展了“自然语言 CoT”和“外部程序执行”之间的表示空间。

10. 定性样例：LSF Trace 更像工作区

定性样例展示了 CLSR 改变的内容。标准 CoT 像一段面向读者的解释文；CLSR Trace 更像一个压缩工作区，保留变量、操作、候选、检查与最终答案。

可读性与可解释性：
* LSF 并非完全不可读。有效 LSF 常借用人类数学符号、短标签、箭头、括号、变量名和验证标记。
* 原因：LLM 预训练于人类文本与代码/数学语料，完全任意的乱码未必稳定。有效机器方言往往在“人类可读符号”和“机器压缩协议”之间形成折中。

双层 Trace 设计建议：
LSF 更短、更结构化，但不一定更易被非专业读者理解。实际系统中更合理的设计可能是双层 Trace：
1. 内部：用 LSF 高效推理。
2. 外部：在需要时生成自然语言解释。
3. 审计：保留 LSF Card、Route Plan、Raw Trace、Parsed Answer 和 Verifier Log。

11. Takeaway Messages

CoT 的长，不全是推理本身

CoT 的长有两部分来源：解决问题的中间状态 + 自然语言解释的表达成本。CLSR 表明，在许多任务中，后者占比不小。将冗余换成符号化状态，可在不显著损害准确率的前提下减少生成端 Token。

Token-Efficient Reasoning 是表示学习问题，不是文本风格控制问题

“请简洁作答”只能改变表面文本风格；LSF 演化改变的是中间表示。真正有效的压缩必须回答：哪些变量必须保留？哪些候选必须排除？哪些证据需要绑定？哪些检查标签不可删除？

没有一种机器方言对所有问题最优

• 简单题适合 Strict、Low-Cost LSF。
• 难题需要多轮组合和验证。
• 科学 QA 与数学推导需要不同的状态结构。
• 强模型和弱模型对同一种符号协议的适应性不同。
• 关键：不仅是 LSF，还包括 LSF Pool 与 Query-Adaptive Routing。

小模型的能力不仅取决于参数，也取决于推理协议

小模型常被迫生成大量自然语言叙述，导致宝贵 Token 预算花在低密度表达上。若将预算更多用于结构化状态、验证和组合，小模型在特定任务上的 Accuracy–Token Frontier 可明显改善。系统设计能显著改变能力的可用形态。

机器语言的价值在于可复用、可评估、可路由

• 短 Trace 只对一个样例有效，只是压缩答案。
• LSF 能跨样例复用、被 Profile 评估、被 Router 选择、能与其他 LSF 组合，才成为操作意义上的机器语言。

紧凑的推理 Trace 不是万能的

更紧凑的协议带来风险：过度压缩可能删除关键验证；符号 Trace 可能降低人工可读性；跨模型迁移可能出现负迁移；模型版本更新可能改变 LSF 有效性。CLSR 更适合作为可审计的协议层，而非将所有内部思考隐藏在不可解释的短码中。

12. 从 CLSR 到 Machine Dialectology：机器方言不只是“自言自语”

CLSR 的续作是 Machine Dialectology (MDia)。
* CLSR：研究同类 LLM Agent 如何生成、演化和路由 LSF。
* MDia：将问题扩展到异构 LLM 社会：不同模型可以是 Speaker、Listener、Router、Critic、Tool User。一个 Dialect 的价值不仅取决于它对生成者是否有效，还取决于它能否被其他 Listener 理解、采用、传播和改造。

分析单位：
Speaker–Listener–Dialect–Task Event。每条 Event 记录 Query、Benchmark、Speaker、Listener、Dialect Card、Route Decision、Response、Parsed Answer、Gold Answer、Correctness、Completion Tokens、Router Tokens、Latency、Seed 和 Provenance。

核心结论：Receiver-Relative Utility
一个 Dialect 不是绝对强或弱，而是对某个 Listener、某类任务、某个预算条件强或弱。实际部署中，关键问题不是“哪个模型最强”，而是：

哪个 Speaker 产生的 Dialect，最适合当前 Listener 在当前任务和预算下使用？

阶段性结果：
在八个 Benchmark Columns 上，MDia 相比最强 Token-Reduction Baseline 宏平均准确率提升约 3.6%，相比 Raw CoT 提升约 3.1%，同时平均减少约 71%的生成 Completion Tokens。

MDia 不无条件 Ensemble 所有 Dialect，而是通过 Profile-Aware Routing 识别 Publicness、Openness、Resistance、Teaching Advantage 和 Foreign-Dialect Risk。

Listener Replacement 实验：
固定 Dialect Archive，替换 Listener，比较 Self-Dialect Routing、Name-Based Routing、Profile-Calibrated Routing 等策略。
* Profile-Calibrated Routing 加权准确率从 Self-Dialect Routing 的 69.6%提升到 83.6%。
* 平均生成 Tokens 从 879降到 449。
* 启示：强 Dialect 不一定是“自言自语”最强，而可能是“对别人最有教学性”。

Machine-Sociolinguistic Regularities：
MDia 抽象出一组规律，如：
* Listener Openness Asymmetry：不同 Listener 对外来 Dialect 的开放程度不同。
* Public Dialect Asymmetry：某些 Speaker 产生的 Dialect 更容易被其他模型采用。
* Weak-Speaker Teaching：较弱 Speaker 有时能产生更稳定、更公共的教学方言。
* Foreign-Dialect Risk：外来 Dialect 可能因过度压缩或格式不匹配而损害强 Listener。
* Route Simplicity：当 Archive 候选高方差时，简单 Profile-Aware Routing 可能优于过度组合。

这使得 MDia 从“Token Compression”走向“Machine Sociolinguistics”：研究机器之间如何发明、教学、借用、抵抗、迁移和路由符号协议。

13. 成果应用：Principia 与 Principle-First Idea Discovery

CLSR/MDia 的一个重要应用方向是科研创意发现系统 Principia。
Principia 的设计哲学不是直接让模型生成看似新颖的 Proposal，而是把研究创意拆成可追踪、可验证、可复用的结构化对象。

简化流程：

Research Goal→ Relevant Works→ Existed Ideas→ Reusable Principles→ Takeaway Messages→ Evidence Composition→ Symbolic Derivation→ Idea Card→ Comparison, Validation, and Export

传统 Brainstorming 工具产生流畅文本，但难回答：Idea 来源？依赖原则？假设？差异？风险？验证方式？Principia 试图显式化这些环节，使 Idea Discovery 成为带有 Lineage、Evidence、Assumption、Risk 和 Validation Path 的工作流。

CLSR/MDia 在三个层面的帮助：

1. 减少冗余自然语言推理：科研探索需反复比较文献、抽取机制、组合原则。LSF/MDia 可将部分中间状态压缩为 Symbolic Handles、Derivation Patches 和 Verifier Checks。
2. 提高中间对象的可复用性：科研 Idea 的关键在于可复用的 Principles、Operators、Failure Modes 和 Validation Templates。机器方言将这些对象组织成可路由、可组合的协议，而非散落的自然语言片段。
3. 使小型开源模型在受控工作流中更有效：更好的 Token 利用率不会让小模型普遍等价于大型闭源模型，但在结构清晰、协议明确、证据可追踪的科研辅助环节中，可显著提高小模型的有效工作半径。

Principia 是 CLSR/MDia 思想的应用场景：让 LLM 发展可复用的符号语言，用于组织原则、压缩推理、追踪证据、路由验证，最终形成更可检验的研究假设。

14. 边界与开放问题：为什么这条路线仍需谨慎推进

1. LSF 不是完全脱离人类先验的新语言
LLM 预训练已吸收自然语言、数学符号、代码格式和领域缩写。CLSR 的贡献不是证明模型从零发明语言，而是证明在给定模型先验下，可通过正确性与 Token 成本选择出更适合机器推理的操作协议。

2. 紧凑 Trace 不等于可靠解释
LSF Trace 可能更结构化，但不一定能直接解释模型内部因果机制。高风险场景中不能把短 Trace 当作充分解释，仍需保留自然语言解释、路由记录、验证日志和可回放的协议卡。

3. 跨模型迁移并非总是正向
MDia 的 Foreign-Dialect Risk 说明，外来 Dialect 可能压制强 Listener 原本丰富的推理过程，或引入不适合任务的格式约束。因此，机器方言需要 Profile-Aware Routing，而非无条件共享。

4. 程序执行与形式系统仍然不可替代
对需要精确计算、长程符号执行或形式证明的任务，外部工具与 Formal Verifier 仍有不可替代优势。CLSR 拓宽了中间表示空间，而非终结程序化推理。

5. 模型版本变化会影响 Dialect 稳定性
若 LLM 的 Tokenizer、指令跟随方式或解码偏好发生变化，旧 LSF 的有效性可能下降。未来需研究 Dialect 的版本化、回归测试、漂移检测与安全审计。

这些边界让研究问题更清楚：我们真正需要的是一套可测量、可审计、可演化的机器通信协议，而不是把压缩 Trace 神秘化。

15. 小结：让模型少说，不如让模型自主演化出更合适的语言组织状态

CLSR 的重要性不在于提出了一个更短的 Prompt，而在于重新定义了 LLM 推理系统中的中间表示。

过去，我们常把 CoT 看作模型推理能力的外显形式：写得越详细，似乎就越会推理。CLSR 说明，这一判断至少是不完整的。自然语言 CoT 有助于人类理解和模型分步推理，但它不是机器推理的唯一可行介质，也未必是 Token-Efficient 的介质。

CLSR 将问题从：

如何让模型生成更短的 CoT？

推进到：

如何让模型发展出更高信息密度、可复用、可路由、可传播的推理语言？

答案：让 LLM Agent 自主生成 LSF，通过正确性与 Token 成本进行演化选择，再在测试时根据问题路由、集成或组合这些 LSF。

• MDia进一步扩展到异构 LLM 社会，研究 Dialect Transfer、Publicness、Openness、Resistance 和 Route Policy。
• Principia尝试将此路线放入科研创意发现系统，让 Symbolic Protocols 成为原则抽取、证据组合和 Idea Derivation 的基础设施。

如果说 CoT 时代让我们看到“模型可以把思考写出来”，那么 CLSR/MDia 试图说明下一步可能是：

高效推理系统不一定要求模型始终用人类自然语言思考；它们可以发展面向机器的符号方言，并在需要时把这些方言翻译给人类。

这表明，我们可以把 Token Efficiency 从工程优化提升为表示学习与机器通信问题，也让我们重新思考：当模型越来越多地与模型协作时，真正重要的是它们能否用最合适的语言传递最关键的状态，而非它们是否足够拟人。

CLSR 论文 ICML 官方链接：https://icml.cc/virtual/2026/poster/61557
CLSR / MDia 代码与资料：https://github.com/pzqpzq/LSF_MDia
Principia 应用原型：https://github.com/pzqpzq/Principia

© THE END

相关文章