微软研究院打造的医疗AI"考场"：连最强的模型也只能答对四成题目

发布时间：2026-07-18 05:05:33 来源：安智兰德资讯网 作者：知识

这项由微软研究院（Microsoft Research）主导的微软前沿研究于2026年6月正式发表，论文编号为 arXiv:2606.31179。研究院打医疗也读者可通过该编号获取完整的考场技术细节与数据报告。

医疗人工智能正处于一个关键的连最评估转折点。过去几年，模型AI在标准化医学考试中的对成表现令人瞩目，部分模型得分甚至超越人类考生。题目然而，微软真实的研究院打医疗也临床诊疗远非简单的选择题。放射科医生的考场日常工作涉及对数十张CT切片的连续观察、历年X光片的连最动态对比以及复杂病历的综合研判。这种在海量异构信息中进行多步推理、模型交叉比对的对成工作流，与回答单一知识性问题有着本质区别。题目

为填补这一评估空白，微软微软研究院开发了 HealthAgentBench测试平台。该平台摒弃了传统的“问答式”测试，转而模拟真实的医院工作台环境。AI系统必须像人类医生一样，主动打开文件、查询数据库、处理医学图像、编写代码，并逐步执行任务以交付最终结果。

测试结果显示，即便是在全球范围内表现最强的十个AI系统，在HealthAgentBench上的任务完成率也仅为 42%。这意味着，面对真实的医疗工作流，即便是顶尖AI仍有超过一半的任务无法独立完成。这一基准测试为衡量医疗AI的真实临床能力提供了全新的标尺。

一、 从“被动问答”到“主动操作”：为何需要新的AI考场

理解这项研究的价值，需对比两种截然不同的考核范式：

1. 传统笔试（当前主流）：提供简短病例描述，要求从四个选项中选择最可能的诊断。
2. 临床操作考核（本研究采用）：模拟真实诊室环境，提供患者档案、影像资料及数据库权限，要求AI自主处理病例。

目前大多数医疗AI测试仍停留在第一种模式。而微软研究院此次聚焦于第二种模式，原因在于AI技术范式的根本转变。早期的AI多为“只读型”，输入文字输出文字；而新一代“智能体（Agent）”AI具备使用工具、执行代码、操作文件及自主规划的能力。它们不再是单纯的知识库，而是能执行复杂任务的“助手”。

医疗领域对这种能力的需求尤为迫切：
* 数据规模巨大：一张病理切片包含百亿级像素，一份电子病历（EHR）可能跨越十年、包含数百万条记录，一次CT扫描涉及数百张切片。
* 处理逻辑复杂：简单的“提示词工程”无法处理上述任务，AI必须自主拆解问题，如切片处理、调用专业工具、分步解决。

现有测试要么因被模型“刷分”而失去区分度，要么仅覆盖单一场景，无法反映临床工作的复杂性。HealthAgentBench正是为了解决这一痛点而生。

二、 HealthAgentBench：模拟真实临床环境的“密室逃脱”

HealthAgentBench包含 54道任务，涵盖 7大类别，覆盖患者就医的全流程。其核心设计理念如下：

• 隔离环境：每道任务封装在独立的 Docker容器中，形成与外界隔绝的“虚拟工作站”。
• 防作弊机制：答案仅存在于容器外的评分程序中，由专家标注。AI无法通过文件名（已匿名化处理，如case_01）或网络搜索获取答案。
• 自主决策：AI仅接收自然语言指令，具体操作路径、工具选择及执行顺序完全由AI自主决定。

七大任务类别详解

1. 胸部X光报告纠错：对比患者多年胸片历史与错误诊断草稿，找出并修正错误。
2. 病理肿瘤区域选择：在数十亿像素的全切片图像中，精准标记肿瘤区域。
3. CT异常分类：读取三维CT数据，判断特定异常表现，要求所有类别判断准确。
4. 临床试验匹配：从约400份试验协议中，找出患者符合条件的所有试验，要求零遗漏。
5. 电子病历数据质量审计：在80万行数据、8张表格中，找出人为注入的错误（如矛盾的人口统计信息）。
6. 电子病历事件建模：基于纵向病历数据，构建机器学习流水线，预测患者未来一年内的疾病风险。
7. 电子病历格式转换：阅读开源代码库，修改配置并运行数据转换流程，输出标准格式数据。

评分标准：采用严格的二元制（通过/失败），无中间地带。临床诊断中，一处关键错误即等同于失败，因此标准必须严苛。

三、 任务设计哲学：确保公平性与真实性

HealthAgentBench的任务筛选遵循严格原则：

1. 多步操作必要性：排除仅需简单提示词即可回答的问题，强制要求智能体式的多步推理。
2. 真实场景映射：数据源自真实患者或临床文件，非人工编造。
3. 多维覆盖：涵盖图像、文本、结构化数据；覆盖诊断、治疗规划、数据管理、研究等环节。

防作弊与防运气设计

• 匿名化处理：隐藏文件路径中的敏感信息，防止AI通过文件名推断答案。
• 禁用网络：禁止AI访问互联网，杜绝在线搜索。
• 低随机成功率：排除简单二分类题目。例如，CT分类任务要求多类别同时正确，随机猜中概率低于1%。

数据来源

• 改造现有数据集：如基于斯坦福大学EHRSHOT数据集改造的“事件建模”任务，要求AI自主完成从数据探索到模型训练的全流程。
• 全新创建任务：如基于MIMIC-IV数据集注入错误的“数据质量审计”任务，测试AI的错误检测能力。

四、 最强AI成绩单：成本与效能的非线性关系

测试结果揭示了当前AI能力的复杂图景：

• 最佳表现：OpenAI Codex GPT-5.5以 42%的成功率领先，约完成22/54项任务。
• 其他梯队：
• Copilot CLI框架下的 Opus-4.8 (36%) 和 GPT-5.5 (35%)
• 原生 Claude Code Opus-4.8 (32%)
• 最弱：Codex GPT-5.4-mini (16%)

成本效益分析

高昂的费用并未带来相应的性能提升：
* Claude Code Opus-4.7：最贵（$4.8/任务），最慢（24分钟/任务），输出冗长（4.4万词元），但成功率低于更便宜的模型。
* Codex GPT-5.5：性价比最高（$2.8/任务，15分钟/任务），输出精简（2万词元），性能最优。

框架影响显著

同一模型在不同框架下表现差异巨大：
* GPT-5.5：Codex框架 (42%) > Copilot CLI框架 (35%)。
* Opus-4.8：Copilot CLI框架 (36%) > Claude Code框架 (32%)。
* 原因：Copilot CLI采用多智能体架构，允许主模型调度辅助模型，提升了复杂任务的协作能力。

五、 AI的优势领域：自动化医学研究流水线

尽管整体得分不高，AI在特定自动化任务上展现出巨大潜力：

1. 电子病历格式转换：
2. 成功率：9/10系统满分。

3. 能力体现：AI擅长阅读开源ETL代码、修改配置并运行流程，表现出极强的代码理解与执行能力。

4. 电子病历事件建模：

5. 成功率：Claude Code Opus-4.7 (78%)，Codex GPT-5.5 (72%)。
6. 能力体现：AI能在1小时内完成从数据探索、特征工程到模型训练的全过程。
7. 策略：AI倾向于使用轻量级方法（如特征计数+梯度提升树），而非复杂深度学习，却能达到或超越人类专家基线。这证明AI在自动化科研流程中具有实用价值。

六、 AI的短板：海量数据中的“零遗漏”挑战

临床试验匹配和电子病历数据质量审计暴露了AI在全面检索方面的缺陷：

1. 临床试验匹配：
2. 挑战：从400份协议中找出所有符合条件的试验，要求召回率100%。
3. 最佳策略：Copilot CLI Opus-4.8 (67%) 采用“粗筛→并行精判→集中复核”的多智能体协作策略。

4. 瓶颈：尽管召回率可达0.85-0.93，但“最后一两个”遗漏导致任务失败。

5. 电子病历数据质量审计：

6. 挑战：在80万行数据中找出所有注入错误。
7. 表现：最高成功率仅42% (Claude Code Opus-4.6)。
8. 关键发现：
9. 搜索空间是核心瓶颈：提供错误位置线索可显著提升召回率（至0.97）。
10. 认知负荷限制：同时处理多种错误类型时，AI表现显著下降，类似人类在高负荷下的失误。

七、 医疗影像：AI最大的壁垒

影像任务是目前AI最难攻克的领域，平均成功率仅 17%（文字任务为49%）。

• 视觉感知困境：CT切片和病理图像数据量远超AI直接处理能力，需自行设计分块、缩放、多分辨率查看等策略。
• Codex GPT-5.5的突破：
• 使用OpenSlide读取图像金字塔。
• 先在低分辨率下生成概览，定位可疑区域。
• 切换高分辨率逐块精查，并进行“遗漏扫描”。
• 依据细胞形态学特征（而非简单颜色阈值）进行判断，逻辑接近人类病理学家。
• 稳定性不足：细微病变（如轻度肺气肿）易导致漏报或误报，且不同AI架构在影像任务上差距明显：
• Codex系列：平均成功率22%。
• Claude Code系列：平均成功率12%。
• 文字任务：两者表现相当（~50%）。

八、 平台验证与未来方向

HealthAgentBench通过严格的人工审查和多重验证确保公平性：
* 可达性验证：确保任务可解且答案唯一。
* 评分一致性：采用LLM-as-a-judge（多数投票）及人工核对金标准（如CAMELYON16数据集）。
* 随机性控制：所有任务随机猜测成功率低于10%。

核心结论

1. 视觉感知瓶颈：现有通用AI缺乏医疗影像的精细感知精度，需专用视觉后端或辅助工具。
2. 检索完整性瓶颈：在“零遗漏”要求下，AI在高认知负荷中表现退化，需提升多目标追踪能力。

对临床应用的启示

• 短期：AI将在医学研究后台发挥作用，如数据清洗、自动化流水线构建，辅助研究人员提高效率。
• 长期：直接参与临床诊断决策仍需时间，特别是在影像分析和全面检索场景。

HealthAgentBench不仅评估了当前AI的能力边界，更为未来研发指明了方向：提升视觉感知精度与增强大规模数据下的检索完整性。

Q&A

Q1：HealthAgentBench测试平台包含哪些类型的医疗任务？

A：共54道任务，涵盖7大类：
1. 胸部X光报告纠错
2. CT异常分类
3. 病理肿瘤区域选择
4. 临床试验匹配
5. 电子病历数据质量审计
6. 电子病历事件建模
7. 电子病历格式转换
覆盖诊断、治疗规划、数据管理及医学研究，数据格式包括2D图像、3D CT、病理全切片、自由文本及结构化病历。

Q2：为什么当前最强的AI在HealthAgentBench上只能完成四成任务？

A：主要受限于两大瓶颈：
1. 医疗影像处理能力不足：海量像素数据需AI自主设计分析策略，且视觉判断精度不稳定。
2. 大搜索空间下的完整检索能力有限：在数十万行数据或数百份文件中实现“零遗漏”检索时，AI在高认知负荷下表现显著退化。

Q3：Codex GPT-5.5和Claude Code系列在医疗任务上的差距有多大？

A：
* 文字任务：两者表现相当，平均成功率约50%。
* 影像任务：差距明显，Codex系列平均成功率22%，Claude Code系列仅12%。
* 性价比：Codex GPT-5.5费用更低（$2.8 vs $4.8）、耗时更短，且性能更优，综合性价比更高。

相关文章