浙江大学等机构联合研发的AtomiMed如何让医学报告评估真正靠谱

发布时间：2026-07-17 09:07:00 来源：安智兰德资讯网 作者：探索

这项突破性研究由浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院、浙江真正浙江大学计算机科学与技术学院、大学等机阿里巴巴集团达摩院、构联湖畔实验室以及复旦大学可信具身人工智能研究院联合完成。合研何让研究成果于2026年6月30日以预印本形式发布，医学论文编号为 arXiv:2606.31292。报告

当医院引入AI系统自动生成肺部CT诊断报告时，评估一个核心难题随之浮现：如何科学、靠谱准确地评估AI报告的浙江真正可靠性？

传统方法依赖文字重叠度（如BLEU、ROUGE），大学等机但这在医学语境下存在致命缺陷。构联例如，合研何让“无胸腔积液”与“有胸腔积液”仅一字之差，医学语义却截然相反，报告但传统工具难以识别这种关键差异。评估此外，现有评估工具多局限于胸部X光，面对CT、MRI及超声等多模态、多器官场景时往往失效。

为解决这一痛点，研究团队提出了 AtomiMed评估框架，并同步开源了 MRGEvalKit工具包与 OmniMRG-Bench多模态评估基准。AtomiMed 的核心创新在于将医学报告拆解为“原子级”临床事实，模拟资深医生的逐条审阅逻辑，实现从整体模糊评分到细粒度精准定位的跨越。

一、 现有评估工具的三大局限

要理解 AtomiMed 的价值，需先审视当前医学AI评估领域的三大瓶颈：

1. 词元重叠工具的“语义盲区”

早期评估借鉴机器翻译领域的 BLEU、ROUGE、METEOR 等指标，通过计算字符或词元重叠率打分。然而，医学诊断的关键信息往往隐藏在否定词（如“无”、“非”）、方位词（如“左”、“右”）及程度词（如“轻”、“重”）中。词元重叠工具无法感知这些微小差异导致的语义反转，导致评分与临床实际价值严重脱节。

2. 专用工具的“模态局限”

CheXbert、RadGraph 等专用工具虽能识别临床实体，但其训练数据高度集中于胸部X光。一旦应用场景切换至腹部CT或脑部MRI，这些工具便因缺乏相应领域的知识储备而失效，如同只会阅读英文病历的医生面对德文病历时的困境。

3. 大模型裁判的“黑盒与衰减”

以 GREEN 为代表的大模型裁判虽能给出整体评分，但存在两个显著缺陷：
* 缺乏可解释性：仅给出笼统总分，无法定位具体错误点。
* 跨模态性能崩塌：实验数据显示，GREEN 在胸部X光上的 Kendall's τ 相关系数为 0.6481，但在CT场景降至 0.3283，在MRI场景更是跌至 0.1513（接近随机猜测）。

AtomiMed 旨在填补这一空白：实现多模态通用、细粒度定位及错误可追溯。

二、 核心机制：原子临床事实的拆解与重建

AtomiMed 摒弃了整篇报告的模糊比对，转而采用“拆解-核查”策略，将报告分解为两个层级的原子临床事实（Atomic Clinical Facts）：

1. 疾病级问答（Disease-level QA）

关注病变的存在与否。
* 示例：“是否存在肾囊肿？”
* 答案：是 / 否
* 目的：评估诊断的敏感性（是否遗漏）与特异性（是否误报）。

2. 属性级问答（Attribute-level QA）

在确认病变存在的基础上，追问其具体特征。
* 示例：“肾囊肿是否呈圆形？”、“直径是否为17mm×31mm？”、“位于右肾吗？”
* 维度：涵盖位置、大小、形态、严重程度、数量、时序变化六大类别。
* 目的：评估描述的临床准确性与细节丰富度。

这一过程由大型语言模型（Qwen3-235B-A22B）执行，通过固定模板提示将非结构化文本转化为结构化的 JSON 格式问答对，确保评估过程的一致性与可复现性。

三、 双向同行评审：智能体交叉验证循环

AtomiMed 模拟放射科的“同行评审”制度，通过双向交叉验证计算精确率与召回率：

1. 召回率方向（Recall Direction）：
2. 以医生报告（参考报告）为基准，检查AI报告（预测报告）是否遗漏了医生发现的病变。
3. 逻辑：参考报告说“有肾囊肿”，AI报告是否提及？
4. 精确率方向（Precision Direction）：
5. 以AI报告为基准，检查医生报告是否支持AI提出的病变。
6. 逻辑：AI报告说“有胆管扩张”，医生报告是否确认？

评分逻辑：
* 先计算疾病层面的精确率、召回率及 F1 分数。
* 在疾病层面对齐的基础上，再计算属性层面的分数。
* 最终得分：疾病层面与属性层面各占 50% 权重，合并得出总体指标。
* 异常处理：若两份报告均无病变陈述，分数自动设为 1，避免对正常报告误罚。属性匹配采用模糊字符串相似度（阈值 0.8）以兼容不同表述变体。

四、 OmniMRG-Bench：首个四模态多模态评估基准

为验证 AtomiMed 的有效性，团队构建了 OmniMRG-Bench，这是目前首个覆盖 X光、CT、MRI、超声波四种影像模态的评估基准。

• 数据规模：包含超过 17.8万条疾病级和属性级问答对。
• 覆盖范围：横跨 9 大解剖系统，6 类属性维度。
• 质量控制：所有标注均由持有执照的放射科医生人工核查。
• 分布特点：位置描述类问答最多（约6.29万条），其次为大小描述（约3.15万条），反映了临床对病变定位与定量的重视。

模型评测结果

在 OmniMRG-Bench 上对 10 个主流模型（包括 InternVL3.5、Qwen2.5VL、HuatuoGPT、Lingshu、MedGemma、HuluMed 等）的评测显示：
* X光场景：HuluMed-7B (0.416) 领先。
* CT场景：Lingshu-32B (0.198) 领先。
* MRI场景：HuluMed-32B (0.234) 独占鳌头。
* 超声场景：HuatuoGPT-34B (0.337) 最佳。

整体分数偏低揭示了当前医学AI在跨模态报告生成方面仍有巨大提升空间。

五、 实验验证：与放射科医生判断的高度一致性

研究团队通过两个维度验证了 AtomiMed 的可靠性：

1. 与专家标注的相关性

在 ReXVal、ReFiSco-v0、RadEvalX 等基准上，AtomiMed 的 Spearman's ρ 相关系数均显著优于 GREEN 及传统 NLP 指标。
* ReXVal：AtomiMed (0.806) > GREEN (0.798) > ROUGE-L (0.748)。
* ReFiSco-v0：AtomiMed (0.744) > GREEN (0.709)。
* 优势：AtomiMed 不仅能给出分数，还能追溯每个具体发现的误差来源。

2. 偏好一致性分析（Human Preference Alignment）

在 IU-Xray、AMOS、RadGenome、KMVE 数据集中，AtomiMed 在模拟“挑选最佳AI报告”的任务中表现卓越：
* X光场景：排名准确率 95.71%，Kendall's τ 0.9807，MAE 0.0214。相比之下，GREEN 的排名准确率仅为 63.57%，词元类指标甚至接近随机猜测（13%-21%）。
* 跨模态韧性：在 CT、MRI、超声场景中，AtomiMed 的排名准确率（84.33%、68.19%、49.86%）均大幅领先 GREEN（47.14%、48.75%、33.83%）及专科基线 RaTEScore（35.00%）。

六、 深度洞察：揭示AI模型的“隐形盲区”

AtomiMed 的分层评估揭示了传统整体评分无法发现的系统性缺陷：

1. 属性维度的“重形态、轻量化”

• 形态描述：模型表现相对较好（分数 6.0-13.2）。
• 严重程度与大小：表现急剧下降（分数 1.0-5.9）。例如，HuatuoGPT-34B 在严重程度维度得分仅 1.27。
• 临床启示：AI 擅长定性描述（“有个东西”），但难以定量评估（“有多严重、多大”），而这正是临床决策的关键。

2. 解剖系统的“数据偏差”

• 呼吸系统：得分普遍最高，反映了胸部X光数据在训练语料中的主导地位。
• 消化/生殖/泌尿系统：得分严重偏低，显示“供给不足”。
• 极端案例：InternVL3.5-38B 在内分泌系统得分高达 26.20，但在泌尿系统仅 0.97，这种不均衡性在传统评分中会被平均化而掩盖。

结语

AtomiMed 通过“原子级”拆解与双向核查，为医学AI报告评估提供了一把不依赖特定影像类型、不受限于特定解剖部位的精准尺子。它不仅给出了一个分数，更提供了一份详细的“错误清单”，帮助开发者精准定位模型短板。

对于患者而言，这意味着未来的AI辅助诊断将经过更严格、更贴近临床需求的检验，而非依靠“文字游戏”蒙混过关。

未来展望：研究团队计划开发计算成本更低的轻量级骨干模型，扩展属性层级至纵向影像比较（追踪病变随时间变化），并覆盖更多临床专科。

Q&A

Q1：AtomiMed 和传统医学报告评估工具有什么本质区别？
A：传统工具依赖词语重叠，无法区分“有积液”和“无积液”等关键语义差异。AtomiMed 将报告拆解为疾病存在性及病变属性（位置、大小、形态等）的细粒度问答对，进行逐条双向核查。它不仅给出评分，还能精确指出具体哪个发现被遗漏或描述错误，具备高度的可解释性。

Q2：AtomiMed 为什么比 GREEN 在 CT 和 MRI 上表现更好？
A：GREEN 主要基于胸部X光数据训练，因此在X光场景下表现强劲，但在CT、MRI等场景下相关性急剧下降（接近随机猜测）。AtomiMed 不依赖特定影像类型的训练数据，而是通过通用大语言模型进行原子事实拆解和交叉核查，因此在X光、CT、MRI、超声波四种模态上均能保持稳定的预测能力。

Q3：OmniMRG-Bench 收录了哪些类型的医学数据？
A：OmniMRG-Bench 是首个横跨 X光、CT、MRI、超声波四种影像模态的评估基准。它涵盖 9 大解剖系统，包含超过 17.8万条由放射科医生人工核验的疾病级和属性级问答对，确保了标注的高质量和临床相关性。

相关文章