ICML 2026 | 当大模型开始发明自己的语言：如何让 LLM 用更少 Token 完成高强度推理

发布时间：2026-07-18 08:12:35 来源：安智兰德资讯网 作者：探索

原文作者：公众号“专知”
转载来源：雷峰网
论文标题：When LLMs Develop Languages: Symbolic Communication for Efficient Multi-Agent Reasoning
论文作者：Zhengqi Pei,当大的语度推 Qingming Huang, Shuhui Wang
作者单位：中国科学院计算技术研究所，中国科学院大学

ICML 官方链接：
https://icml.cc/virtual/2026/poster/61557

论文链接：
https://openreview.net/pdf?模型id=ovpL0ujD6j

代码与后续工作：
https://github.com/pzqpzq/LSF_MDia

成果应用：
https://github.com/pzqpzq/Principia

导读

Chain-of-Thought (CoT) 技术已被证实能有效提升大模型在复杂任务上的表现，其核心在于将思考过程外化为文本。开始然而，发明当推理链的自己接收者和处理者并非人类，而是言何用更另一个 LLM 时，基于自然语言的完成长推理链往往存在冗余。受此启发，高强本文提出的当大的语度推 CLSR (Communicative Language Symbolism Routing)框架挑战了一个根本性问题：LLM 是否必须依赖自然语言进行推理？

CLSR 提出，在多智能体系统的模型正确性与成本压力下，LLM 可以自主演化出各类 Language Symbolism Frameworks (LSFs)，开始即机器语言符号体系。发明实验表明，自己在多个推理基准和开源骨干模型上，言何用更CLSR 能将面向延迟的完成生成端 Completion Tokens 降低 3–6 倍，同时保持与原始 CoT 相当的准确率，并在部分场景下优化了 Accuracy-Token Pareto 前沿。该研究揭示了一个新范式：推理效率的关键不仅在于“少说话”，更在于使用更高信息密度、可复用且可路由的中间语言。

0. 概要

CLSR 所指的“语言”并非人类自然语言，也不是声称 LLM 获得了类人语言能力，而是指 操作意义上的离散符号通信协议，即 LSF (Language Symbolism Framework)。

CLSR 允许大模型多智能体系统在推理能力与能效的双重约束下，批量生成多样化的 LSF 协议。具体而言，给定任务、模型族、Token 预算及目标准确率，CLSR 能自动生成、复用并演化包含符号、语法、推理操作、有效性约束及经验 Profile 的中间表示。这些 LSF 协议可被灵活调用、比较、路由、组合或淘汰，并支持跨任务复用。

核心研究问题：
在 Black-box LLM 设定下，能否自动发现一类离散、可存档、可复用的中间推理协议，使其比自然语言 CoT 更接近 Accuracy-Token 前沿？

背景与挑战：
当前主流推理系统涉及 Solver、Router、Critic、Verifier 等多角色协作。由于主要处理者是机器，自然语言的可读性、修辞连贯性及解释性冗余可能转化为额外的带宽成本。CLSR 将“推理链”重新定义为一种 带宽受限的状态传输机制。

1. 问题背景：Chain-of-Thought 难以兼顾推理精度和推理成本

CoT 的成功源于显式生成中间步骤能降低一次性解码难度。然而，CoT 默认中间状态必须以自然语言散文形式展开，这对人类友好，但对模型而言并非最优交互接口。

• 结构性成本：标准 CoT 中包含大量如“首先我们考虑……”、“因此可以看出……”等对模型继续推理非必要的低信息密度内容。在自回归解码中，生成端 Token 直接影响成本、延迟和吞吐。

现有缓解方法及其局限：

1. Prompt Optimization：优化自然语言指令表面形式，但优化对象多为临时指令字符串，而非持久符号协议。
2. Short Reasoning Prompting(如 Chain-of-Draft, Sketch-of-Thought)：通过压缩或草稿式推理减少 Token。风险在于若删除变量绑定、证据链接等关键状态，准确率会下降。
3. Program-Aided Reasoning(如 PoT, PAL)：将推理转为程序由外部解释器执行。虽在可程序化任务上表现强劲，但依赖人类预设语言及外部 Executor，未解决 LLM 自身发现中间符号系统的问题。

CLSR 的切入点：
将推理视为机器间的通信问题。若 Token 是带宽，推理效率的本质即为 每个 Token 携带的对答案有用的状态量。研究目标从“减少字数”转向“提高单位 Token 的有效信息密度”。

2. 理论视角

CLSR 将测试时推理形式化为一个 受约束的随机控制问题 (Constrained Stochastic Control Problem)。

CLSR 旨在让模型发展出更紧凑、结构化且符合自身解码习惯的符号协议。这一视角指出，“永远更短”并非正确目标。问题难度越大、目标准确率要求越高，所需信息越多。高效推理系统需根据问题难度 自适应分配 Token：简单题极短，难题则保留分解、验证和纠错空间。

3. LSF：可复用的机器推理协议

CLSR 的基本单元是 Language Symbolism Framework (LSF)。LSF 被定义为：

LSF 区别于一次性 Prompt，更像一张 协议卡，可多次调用、评估、路由、组合，并在演化中继承、变异或淘汰。

LSF 类型示例：
* 数学类：侧重变量绑定、子目标、变形操作、校验标签。
* 科学问答类：侧重证据等级、候选排除、概念约束。
* 多跳检索类：侧重证据桥、Null Guard、Support Status。

概念示意：

[bind] x=..., y=...[sub] need: eliminate distractor B/C[op] evidence(A) > evidence(D); constraint: mechanism match[chk] no contradiction with condition-2[ans] A

此类表达不追求文学性或人类自解释，旨在以最少 Token 保留足以让模型继续推理、验证或输出的结构化状态。

4. CLSR 如何工作：生成、演化、路由

CLSR 流程分为三个阶段：LSF Synthesis、LSF Evolution、Test-time Routing。

4.1 从样例中生成初始 LSF

给定 Benchmark 训练样例，CLSR 采样 Exemplars 作为上下文，要求 LLM 设计一种能保持推理能力并减少 Token 的 LSF。人类仅给出高层目标（正确且 Token-efficient），不干预符号表或语法。通过调整采样温度，可生成从 Strict LSF（类机器压缩）到 Soft LSF（保留较多自然语言结构）的候选池。

4.2 通过选择压力演化 LSF

CLSR 使用迭代 Bootstrapping 过程逐代改进 LSF Pool：

1. 用当前 LSF 回答新训练/验证问题。
2. 记录答案正确性与 Completion Token 成本。
3. 选择同时正确且短的 High-leverage Traces。
4. 将 Trace、父代 LSF 及失败信息反馈给 LLM。
5. 生成下一代 LSF，重复评估、选择、变异。

此过程中的“Agent”并非独立神经模块，而是由 Backbone、随机种子等定义的 Black-box LLM Worker。该过程类似机器语言体系演化：正确性 = 通信成功，Token 长度 = 生产成本。能反复采用的符号被保留，无法稳定支持压缩的方式被淘汰。

4.3 测试时路由：让不同问题使用不同方言

演化得到 LSF Pool 后，CLSR 在测试时由 LLM-Router根据问题和 LSF Profile 实时生成协议计划。

CLSR 并非强制所有回答最短，而是在预算约束下动态决定何时压缩、何时冗余、何时验证。简单题使用低成本 LSF，难题则通过 Router 分配更多 Token 进行分解、交叉检查和多轮组合。

5. 实验设置

Benchmarks：
MMLU-Pro, GPQA-main, GSM8K, MATH500, AIME21–24, ScienceQA, HotpotQA。覆盖知识密集型 QA、专家级科学问答、算术推理、竞赛数学及多跳问答。

Backbones：
LLaMA3-8B, DeepSeek-R1-Distill-Qwen3-8B, Qwen3-8B, Qwen3-32B 等。

Baselines：
Raw CoT, CoD, CCoT, SoT, PoT, PAL, Plan-to-Solve, PromptBreeder。

评价指标：
1. Accuracy：最终答案准确率。
2. Completion Tokens：测试时生成端 Token（含 LSF 响应、Router Plan、中间响应及聚合部分）。

核心结论：
CLSR 在多模型、多任务上更稳定地将系统推向更好的 Accuracy-Token Frontier：在接近 Raw CoT 准确率的同时，显著减少生成端 Token；在相近 Token 预算下，通常比简单短推理提示保留更多有效状态。

6. 主结果：CLSR 改善的是 Accuracy–Token Frontier

下表摘取代表性结果（Acc / Tkn，Tkn 为平均生成 Completion Tokens）：

关键发现：
* CLSR 的收益不仅限于小模型或简单任务，在强推理模型或长推理任务中同样有效。
* 与短推理 Baseline 相比，CLSR 并非单纯“更短”，而是寻找更合适的状态编码。例如在 Qwen3-8B 上：

短推理提示可能删除关键中间状态，而 LSF 试图用更紧凑的符号保留这些状态。

7. 机制分析一：CLSR 的收益来自“换码”，而非机械缩写

Accuracy-Token 曲线显示，CLSR 在 MMLU-Pro, GPQA, GSM8K, MATH500 等任务上整体更接近 Pareto Frontier。

当 Token 预算增加时，CLSR 的额外 Token 更能转化为准确率收益。成功 LSF 的结构具有任务特异性：
* 知识密集型 QA：压缩重点为证据筛选、选项排除与短验证。
* 数学推理：压缩重点为变量绑定、等式变形、子目标与 Check。
* 多跳问答：压缩重点为 Evidence Bridge、Support Status、Null Guard。
* 格式敏感任务：压缩重点为 Output Contract 与 Parseability。

这说明 LSF 是一组 Task-conditioned和 Model-conditioned的推理协议。

8. 机制分析二：难题更需要把 Token 用在验证环节

Ablation 实验显示多轮数 $T$ 的影响。以 Qwen3-8B 为例：

若 CLSR 仅为“让模型尽可能短”，则 $T=1$ 应最优。但实验表明，对于 GSM8K, MATH500, GPQA，$T=3$ 使用更多 Token 却显著提高准确率，且仍少于 Raw CoT。

启示：
针对难题，CLSR 原则不是“少说”，而是 将 Token 从自然语言叙述转移到结构化验证、分解和纠错上。CLSR 通过 Router 决定何时需要更严格的 LSF、多 LSF 聚合或多轮组合，避免了失败压缩方法中删除 Verification 的问题。

9. 机制分析三：CLSR 与程序化推理的关系

PoT/PAL 依赖外部 Executor 执行代码。CLSR 虽无外部 Executor，但通过多轮 LSF 协议，在一定条件下可近似“模型内部的程序化状态更新”。理论上，在 Interpreter-realizability 前提下，多轮 LSF Protocol 可条件性地 Subsume Program-execution Pipeline。

Qwen3-8B 比较：

谨慎解读：
* PoT/PAL 的 Token 统计通常仅计算生成程序的 LLM Decoding Tokens，未包含整个系统执行成本。
* CLSR 不替代外部 Executor 在精确计算、长程序执行及形式验证中的价值。
* CLSR 的定位是：当符号操作在模型内部可实现时，LSF 提供一种 Black-box、离散、可存档、可路由的中间协议，扩展了“自然语言 CoT”与“外部程序执行”之间的表示空间。

10. 定性样例：LSF Trace 更像工作区

标准 CoT 像面向读者的解释文，CLSR Trace 更像 压缩工作区，保留变量、操作、候选、检查与最终答案。

可解释性讨论：
有效 LSF 往往借用人类数学符号、短标签、箭头、括号等，形成“人类可读符号”与“机器压缩协议”的折中。完全任意的乱码未必稳定。
建议设计：双层 Trace。内部用 LSF 高效推理，外部在需要时生成自然语言解释，并保留 LSF Card、Route Plan、Raw Trace、Parsed Answer 及 Verifier Log 以便审计。

11. Takeaway Messages

1. CoT 的长，不全是推理本身：自然语言解释的表达成本占比不小。将其替换为符号化状态可在不显著损害准确率的前提下减少 Token。
2. Token-efficient reasoning 是表示学习问题：“请简洁作答”仅改变表面风格；LSF 演化改变的是中间表示。有效压缩需明确保留哪些变量、排除哪些候选、绑定哪些证据。
3. 没有一种机器方言对所有问题最优：简单题适合 Strict LSF，难题需多轮组合；不同任务、不同模型需适配不同协议。CLSR 的关键在于 LSF Pool 与 Query-adaptive Routing。
4. 小模型的能力取决于推理协议：小模型常因生成低密度自然语言叙述而浪费 Token。通过结构化状态、验证和组合优化预算，可显著改善其 Accuracy-Token Frontier。
5. 机器语言的价值在于可复用、可评估、可路由：单个短 Trace 仅对样例有效；LSF 能跨样例复用、被 Profile 评估、被 Router 选择，才构成操作意义上的机器语言。
6. 紧凑的推理 Trace 不是万能的：过度压缩可能删除关键验证，符号 Trace 可能降低人工可读性，跨模型迁移可能存在负迁移。CLSR 应作为可审计的协议层，而非隐藏内部思考的黑盒。

12. 从 CLSR 到 Machine Dialectology：机器方言不只是“自言自语”

CLSR 的续作是 Machine Dialectology (MDia)。CLSR 研究同类 LLM Agent 如何生成、演化和路由 LSF；MDia 将问题扩展至 异构 LLM 社会：不同模型可作为 Speaker、Listener、Router、Critic、Tool User。

分析单位：Speaker–Listener–Dialect–Task Event。记录 Query, Benchmark, Speaker, Listener, Dialect Card, Route Decision, Response, Parsed Answer, Gold Answer, Correctness, Completion Tokens, Router Tokens, Latency, Seed, Provenance。

核心结论：Receiver-relative Utility
Dialect 的价值取决于其对特定 Listener、任务及预算条件的适用性。实际部署中，关键问题不是“哪个模型最强”，而是 “哪个 Speaker 产生的 Dialect 最适合当前 Listener 在当前任务和预算下使用？”

阶段性结果：
在八个 Benchmark 上，MDia 相比最强 Token-reduction Baseline 宏平均准确率提升约 3.6%，相比 Raw CoT 提升约 3.1%，同时平均减少约 71%的生成 Completion Tokens。MDia 通过 Profile-aware Routing 识别 Publicness, Openness, Resistance, Teaching Advantage 及 Foreign-dialect Risk。

Listener Replacement 实验：
固定 Dialect Archive，替换 Listener。Profile-calibrated Routing 的加权准确率从 Self-dialect Routing 的 69.6%提升至 83.6%，平均生成 Tokens 从 879降至 449。这表明强 Dialect 不一定是“自言自语”最强，而可能是“对别人最有教学性”。

Machine-sociolinguistic Regularities：
* Listener Openness Asymmetry：不同 Listener 对外来 Dialect 开放程度不同。
* Public Dialect Asymmetry：某些 Speaker 产生的 Dialect 更易被其他模型采用。
* Weak-speaker Teaching：较弱 Speaker 有时能产生更稳定、更公共的教学方言。
* Foreign-dialect Risk：外来 Dialect 可能因过度压缩或格式不匹配损害强 Listener。
* Route Simplicity：当 Archive 候选高方差时，简单 Profile-aware Routing 可能优于过度组合。

MDia 标志着从“Token Compression”走向 “Machine Sociolinguistics”：研究机器间如何发明、教学、借用、抵抗、迁移和路由符号协议。

13. 成果应用：Principia 与 Principle-first Idea Discovery

Principia是一个科研创意发现系统，其哲学是将研究创意拆分为可追踪、可验证、可复用的结构化对象。

简化流程：
Research Goal → Relevant Works → Existed Ideas → Reusable Principles → Takeaway Messages → Evidence Composition → Symbolic Derivation → Idea Card → Comparison, Validation, and Export.

传统 Brainstorming 产生流畅文本但难以追溯来源、假设及风险。Principia 使 Idea Discovery 成为带有 Lineage, Evidence, Assumption, Risk 和 Validation Path 的工作流。

CLSR/MDia 在 Principia 中的作用：
1. 减少冗余自然语言推理：将文献比较、机制抽取、原则组合等中间状态压缩为 Symbolic Handles, Derivation Patches 和 Verifier Checks，避免 Token 被解释性文本占满。
2. 提高中间对象的可复用性：将 Principles, Operators, Failure Modes 和 Validation Templates 组织为可路由、可组合的协议，而非散落的自然语言片段。
3. 赋能小型开源模型：在结构清晰、协议明确、证据可追踪的科研辅助环节中，提高小模型的有效工作半径。

Principia 是 CLSR/MDia 思想的应用场景：让 LLM 发展可复用的符号语言，用于组织原则、压缩推理、追踪证据、路由验证，最终形成更可检验的研究假设。

14. 边界与开放问题：为什么这条路线仍需谨慎推进

1. LSF 不是完全脱离人类先验的新语言：LLM 预训练已吸收自然语言、数学符号、代码格式。CLSR 的贡献在于证明在给定先验下，可通过选择出更适合机器推理的操作协议，而非从零发明语言。
2. 紧凑 Trace 不等于可靠解释：LSF Trace 结构化但不一定直接解释内部因果机制。高风险场景仍需保留自然语言解释、路由记录、验证日志及可回放协议卡。
3. 跨模型迁移并非总是正向：Foreign-dialect Risk 表明，外来 Dialect 可能压制强 Listener 的推理过程或引入不匹配约束。需 Profile-aware Routing，而非无条件共享。
4. 程序执行与形式系统不可替代：精确计算、长程符号执行或形式证明任务仍需外部工具与 Formal Verifier。CLSR 拓宽了中间表示空间，但未终结程序化推理。
5. 模型版本变化影响 Dialect 稳定性：Tokenizer、指令跟随方式或解码偏好变化可能导致旧 LSF 失效。需研究 Dialect 的版本化、回归测试、漂移检测及安全审计。

这些边界明确了研究目标：我们需要一套 可测量、可审计、可演化的机器通信协议，而非将压缩 Trace 神秘化。

15. 小结：让模型少说，不如让模型自主演化出更合适的语言组织状态

CLSR 的重要性不在于提出更短的 Prompt，而在于 重新定义 LLM 推理系统中的中间表示。

过去，CoT 被视为推理能力的外显，写得越详细似乎越会推理。CLSR 证明这一判断不完整：自然语言 CoT 虽有助于人类理解，但并非机器推理的唯一或最高效介质。

CLSR 将问题从：

如何让模型生成更短的 CoT？

推进到：

如何让模型发展出更高信息密度、可复用、可路由、可传播的推理语言？

答案：让 LLM Agent 自主生成 LSF，通过正确性与 Token 成本进行演化选择，再在测试时根据问题路由、集成或组合这些 LSF。

• MDia将思想扩展至异构 LLM 社会，研究 Dialect Transfer, Publicness, Openness, Resistance 及 Route Policy。
• Principia将路线应用于科研创意发现，使 Symbolic Protocols 成为原则抽取、证据组合和 Idea Derivation 的基础设施。

如果说 CoT 时代让我们看到“模型可以把思考写出来”，那么 CLSR/MDia 试图说明下一步可能是：
高效推理系统不一定要求模型始终用人类自然语言思考；它们可以发展面向机器的符号方言，并在需要时把这些方言翻译给人类。

这表明，我们可以把 Token Efficiency 从工程优化提升为 表示学习与机器通信问题，重新思考：当模型越来越多地与模型协作时，真正重要的是它们能否用最合适的语言传递最关键的状态，而非它们是否足够拟人。

CLSR 论文 ICML 官方链接：https://icml.cc/virtual/2026/poster/61557
CLSR / MDia 代码与资料：https://github.com/pzqpzq/LSF_MDia
Principia 应用原型：https://github.com/pzqpzq/Principia

© THE END

相关文章