三星研究院等联手：让巴掌大的AI"小脑"拥有大模型的解题智慧

发布时间：2026-07-17 06:38:41 来源：安智兰德资讯网 作者：休闲

这项由三星英国研究与开发院（Samsung R&D Institute UK）与伦敦玛丽女王大学（Queen Mary University of London）联合开展的星研小脑型前沿研究，已于2026年6月29日在预印本平台arXiv发布（编号：arXiv:2606.29961）。究院解题研究团队提出了一种名为DuoMem的等联大的大模创新框架，旨在攻克AI领域的手让长期痛点：如何使运行在手机、机器人等边缘设备上的巴掌“迷你AI”，具备仅存在于超级大模型中的智慧复杂逻辑推理能力。

先从一个常见的星研小脑型用户体验痛点说起。

当你对手机助手或扫地机器人下达如“找到厨房里的究院解题锅，洗净并归位”这类稍显复杂的等联大的大模指令时，它们往往显得力不从心。手让相比之下，巴掌ChatGPT等大语言模型虽能处理各类难题，智慧但其庞大的星研小脑型算力需求使其无法嵌入终端芯片。

这揭示了AI行业的究院解题核心矛盾：能力强的AI过于庞大，无法部署；部署在设备上的等联大的大模AI过于精简，难以胜任复杂任务。DuoMem框架本质上是一套“知识蒸馏术”，以极低的成本将大模型的解题智慧迁移至小模型。

一、为何“模型容量”决定AI智商？

理解DuoMem前，需先厘清“参数量”的概念。可将AI模型比作一本食谱书：参数量越大，收录的技巧越丰富。
* 720亿参数大模型（72B）：如同拥有数十年经验、精通万道菜肴的顶级大厨。
* 40亿参数小模型（4B）：如同刚出师、仅掌握数百道菜的新手厨师。

在ALFWorld虚拟家居环境中，测试AI执行多步骤家务（如清洁、收纳、加热）的能力。结果显示，在无任何辅助下，72B模型任务完成率为87.1%，而4B模型仅为4.3%。这一巨大差距表明，小模型在复杂规划上存在显著短板。

二、程序记忆：AI的“经验积累”机制

程序记忆（Procedural Memory）是DuoMem的理论基石，指将过往任务经历提炼为可复用的“操作脚本”。例如，AI完成“清洁海绵并收纳”后，将其总结为：“先定位物品→移至水槽清洁→打开抽屉→放入”。

测试表明，程序记忆对小模型提升巨大：
* 配备完整程序记忆（MemP）的4B模型，成功率从4.3%跃升至55%（提升约12倍）。
* 相比之下，大模型仅提升约5%。

这印证了一个规律：能力越弱的模型，从外部知识中获得的增益越显著。MemP系统包含两部分：k条程序脚本（任务总结）和一条完整参考轨迹（成功示例）。推理时，系统通过余弦相似度检索最相关脚本，辅助小模型解题。

三、DuoMem核心：双通道“智慧传输”

DuoMem的创新在于解决了“脚本由谁编写”的问题。小模型自生成的脚本质量往往参差不齐，DuoMem引入两条并行管道：

1. 情境空间蒸馏（Context-Space Distillation, CD）

• 原理：让大模型（Teacher）在离线阶段完成所有训练任务，生成高质量程序脚本存入约4MB的记忆库。
• 优势：零参数修改，零计算代价。推理时，将检索到的脚本作为上下文输入小模型。每条脚本仅约70个token，额外负载极低。

2. 参数空间蒸馏（Parameter-Space Distillation）

• 原理：不仅提供“食谱”，更通过微调让模型掌握“厨艺”。
• 技术细节：
• 数据构建：收集大模型在3553道任务中的11,434条成功轨迹，剔除失败记录。
• LoRA微调：采用低秩适应（LoRA）技术，仅在原始模型旁挂载约590万参数的“插件”（占原模型0.15%，存储仅12MB）。
• 训练策略：对比发现，“完整历史”（Full History）策略效果最佳（成功率42.1%），优于“仅最新”（27.9%）和“最后五步”（31.4%），因为完整过程能传递高阶决策逻辑。

四、协同效应：1+1 > 2

DuoMem将上述两条管道结合：先通过LoRA微调让小模型行为趋近大模型，再在推理时注入高质量脚本。

• 4B模型表现：
• 仅MemP：55%
• 仅CD：56.4%
• 仅LoRA+MemP：72.1%
• 完整DuoMem：77.9%

• 注：77.9%远超单独贡献之和（1.4% + 17.1% = 18.5%），证明存在显著协同效应。

• 其他模型验证：

• Gemma4-E2B-it (2B)：结合后达55.7%，比LoRA单独使用高出9.3个百分点。
• Gemma3-12B-it (12B)：结合后贡献25个百分点，超过单独贡献之和（20个百分点）。

五、速度优势：边缘部署的关键

对于手机和机器人，实时性至关重要。

DuoMem小模型在保持接近大模型准确率（77.9% vs 87.1%）的同时，实现了极速响应，解决了大模型在边缘设备上的延迟灾难。

六、记忆检索数量的优化

研究团队测试了检索脚本数量（k值）对性能的影响：
* 含完整参考轨迹：k=4时成功率达78.6%并趋于饱和。因完整轨迹已提供密集信息，额外脚本边际收益递减。
* 仅含脚本：成功率随k值增加持续上升（k=10时达63.6%）。
* 结论：正式实验统一采用k=10，以兼顾纯脚本场景的最佳性能及含轨迹场景的稳定性。

七、“思维链”模式的取舍：速度 vs 精度

现代AI常具备“思维链”（Thinking Mode）模式，通过内部推理提升准确率，但代价是速度骤降。

• Qwen3-8B案例：
• 普通模式：耗时13-15秒，成功率62.1%。
• 思维链模式：耗时58-101秒（慢4-6倍），成功率77.1%。
• DuoMem的价值：在非思维链模式下，DuoMem通过程序记忆和LoRA微调，使小模型在保持高速响应的同时显著提升准确率，实现了边缘部署下的最佳平衡。

八、案例解析：清洁抹刀任务

研究团队通过同一4B模型在三种配置下的表现，直观展示DuoMem效果：

1. 无辅助：模型不理解空间规则，盲目尝试打开抽屉却未移动位置，最终拿错物品（黄油刀），耗时30步，失败。
2. 仅MemP：学会了导航逻辑，但仍因物品识别错误（拿黄油刀代替抹刀）导致无法执行后续操作，耗时30步，失败。
3. DuoMem (LoRA+CD)：
4. 定位：准确找到1-6号柜，锁定3号台面的正确抹刀。
5. 执行：拿起→移至水槽清洗→移至1号抽屉→放入。

6. 结果：仅用14步，耗时9.1秒，完美完成任务。

7. 结论：程序记忆解决“顺序”问题，LoRA解决“识别”问题，两者缺一不可。

九、局限性与未来展望

• 局限性：
• 实验仅在ALFWorld虚拟环境进行，需验证其在代码生成、网页浏览等场景的泛化能力。
• 目前仅使用单一教师模型（Qwen2.5-72B），未来可探索多模型知识汇聚及持续学习。
• 速度测试基于A100服务器，实际移动端芯片性能需进一步实测。
• 普适性：DuoMem的核心机制（情境与参数蒸馏）与模型架构无关，具备广泛的适用潜力。

总结

DuoMem通过“情境蒸馏”提供高质量参考，“参数蒸馏”内化操作技能，使小模型达到大模型90%的能力，同时保持3倍以上的速度优势。这预示着未来手机AI、家用机器人将能在本地实时处理复杂多步骤任务，无需依赖云端，实现更低功耗、更隐私保护的智能交互。

Q&A

Q1：DuoMem的主要功能是什么？
A：DuoMem是由三星英国研究院和伦敦玛丽女王大学联合开发的AI知识蒸馏框架。它将超大型AI模型的复杂任务解决能力，以极低代价迁移至小型边缘设备（如手机、机器人）上的轻量级AI模型，使其具备多步骤推理能力并保持实时响应。

Q2：LoRA微调与普通AI训练有何区别？
A：普通训练需更新模型全部参数，计算成本极高。LoRA（低秩适应）仅在原始模型旁添加极小的附加模块（如4B模型仅需590万参数，存储<12MB），原模型参数冻结。这种微调方式效率极高，通常只需一轮数据即可训练完成。

Q3：为何不直接部署大模型，而采用DuoMem间接方案？
A：72B大模型存储和算力需求巨大，无法在手机等边缘设备运行。即便在服务器上，其推理延迟（17-20秒/任务）也无法满足实时交互。DuoMem增强后的4B小模型推理仅需约5秒，速度快3倍以上，且支持本地离线运行，是更具实用价值的边缘部署方案。

相关文章