重庆工商大学等机构联合揭示生物识别领域的增强困局

发布时间：2026-07-18 04:09:18 来源：安智兰德资讯网 作者：娱乐

这项由重庆工商大学、重庆增强西湖大学、工商构联法国巴黎综合理工学院旗下Telecom SudParis以及广州应用科技学院联合开展的大学等机研究，于2026年7月2日以预印本形式发布在arXiv平台，合揭编号为arXiv:2607.02271v1，示生收录于计算机视觉领域（cs.CV）。物识对这一课题感兴趣的别领读者可通过上述编号在arXiv检索到完整论文。

每个人的困局手掌和手指内部，藏着一张独一无二的重庆增强"蓝图"——那是密密麻麻的静脉血管网络。由于这张蓝图深藏皮肤之下，工商构联既无法被简单复制，大学等机也难以被伪造，合揭静脉识别因此成为当前安全性最高的示生生物特征识别技术之一。用它来解锁手机、物识验证身份、别领进入银行金库，比指纹甚至人脸识别都要可靠得多。然而，要让人工智能学会"认识"这张蓝图，就必须喂给它大量的训练样本——越多越好。问题偏偏出在这里：采集静脉图像需要专用的近红外摄像设备，涉及隐私保护，数据量天然稀缺。

面对这种"粮荒"，研究人员们早就想出了一个常用办法：数据增强。简单地说，就是对已有的图像动动手脚——翻个面、旋转一下、调调亮度、拼接两张图……用这种方式人为制造出更多"新"样本，让人工智能有足够的素材去练习。这种技巧在识别猫狗照片、分类自然风景图时效果显著，于是研究者们几乎不假思索地把同样的招数搬到了静脉识别领域。

然而，这项联合研究的核心发现让人有些意外：那些在自然图像识别上屡试不爽的增强方法，放到静脉识别上，结果好坏参半，甚至有时适得其反。更棘手的是，那些让识别"准确率"看起来漂亮的方法，往往在安全性和可靠性上留下了隐患。为了彻底摸清这个问题，研究团队建立了一个名为AGVBench的评估平台，对30种代表性的数据增强策略进行了系统性的"体检"，实验横跨五个公开静脉数据集和七种深度学习骨干架构。

一、为什么静脉图像不能随便"乱动"

要理解这场困局，得先弄清楚静脉图像与普通照片的根本差异。在日常的图片识别任务里，一只猫不管是正着放还是倒着放、亮着还是暗着、完整还是只露出半个脑袋，人眼一眼就能认出它是猫，机器经过训练之后也能做到同样的事。正是因为这种鲁棒性，对自然图像做各种花式变换，反而有助于让模型学得更扎实。

然而静脉图像的识别逻辑完全不同。身份信息藏在那些细如发丝的血管走向、分叉位置和相互连接的拓扑结构里——换句话说，是结构关系，而不是整体外观。一旦对图像做了大幅度的旋转、翻转或裁剪，血管的走向就变了、位置关系就乱了，原本精妙的"身份密码"可能就此被抹去。这就好比把一张详细的地铁线路图随意旋转90度并裁掉一半：你仍然能看出那是个地铁线路图，却完全无法判断从A站到B站该怎么走。

正因如此，研究团队认为，专门针对静脉识别的增强方法评估框架早该建立。目前学界的状况是：各个研究团队用着各自不同的参数设置、各自不同的代码风格、各自不同的评测标准，彼此之间的结果根本没法比较，实践者也不知道该优先采用哪种方法。AGVBench的出现，正是为了填补这个空白。

二、AGVBench：一座专为静脉识别搭建的"测试赛道"

AGVBench的整体框架建立在PyTorch和OpenMMLab的计算机视觉基础库（MMCV）之上，被设计成高度模块化的结构。研究人员把整个系统拆分成四大功能板块：负责模型组件注册与数据流水线的核心库、负责集中管理超参数和实验配置的配置模块、负责分布式训练执行与综合指标评估的工具脚本，以及负责存储训练日志、模型权重和分析结果的工作目录。整个流程由一份配置文件统一驱动，用户只需在其中指定数据集、增强方法、骨干架构和训练超参数，系统就会自动完成从初始化到评估的全套流程。

在增强方法的选择上，研究团队覆盖了三大类共30种方法，每一类都有其独特的作用机制。

1. 单图增强方法：只对单张图片动手术。
2. 基础操作：包括翻转、旋转、仿射变换、模糊和噪声添加。
3. 空间遮挡类：例如Cutout（随机在图像上盖一个黑色方块）、RandomErasing（随机擦除图像中的一块区域）和GridMask（用网格状的遮罩盖住部分区域），这些方法强迫模型不要只依赖局部特征，而是学会从全局结构推断信息。

4. 策略驱动类：如AutoAugment（自动从数据中搜索最优的增强组合）、RandAugment（在简化搜索空间中随机选取增强操作）和TrivialAugment（完全不需要调参，直接随机采样操作）；此外还有TeachAugment（利用教师网络的知识引导增强方向）和KeepAugment（基于显著性图保留重要区域不被破坏）等更精细的策略。

5. 多图混合增强方法：将两张或多张图片以某种方式融合，同时对标签也做相应的插值处理。

6. 基础混合：MixUp直接按比例把两张图片的像素值加权平均，CutMix则是从一张图上切下一块贴到另一张图上。

7. 改进混合：FMix利用傅里叶变换生成更自然的混合遮罩，SaliencyMix和GuidedMixup会优先保留包含重要信息的区域，PuzzleMix采用最优传输理论来对齐两张图片中的语义内容，StarMixup则是一种专门为静脉识别设计的端到端可优化混合策略，能根据模型当前的训练状态动态调整混合策略。

8. 标签增强方法：不改动图片本身，而是改变训练时使用的"答案"。

9. 平滑与分布：正常训练时，模型的答案是硬性的"一定是第3类"；而标签平滑（LabelSmoothing）会把答案改成"有90%可能是第3类，其他类各占一点点"，这样做能防止模型过度自信。
10. 动态与惩罚：OnlineLabelSmooth会根据模型历史预测的统计分布动态更新软标签，DirichletLabelSmooth则用Dirichlet分布来参数化生成软标签，ConfidencePenalty直接对过于自信的输出施加惩罚，Bootstrapping则把模型自己当下的预测混入训练标签中。

在骨干架构方面，研究团队选取了两类七种模型。通用视觉模型包括轻量级卷积网络MobileNetv2、标准残差网络ResNet18、基于全局注意力机制的Vision Transformer Small（ViT-S）和基于层次化注意力的Swin Transformer Tiny（Swin-T）。领域专用模型则包括FVRASNet（专为手指静脉设计的嵌入式识别网络）、AMPVNet（专为无约束条件下的掌静脉识别设计的网络）和StarLKNet-S（一种基于大核卷积的静脉识别专用架构）。

在数据集方面，研究团队选取了三个掌静脉数据集和两个手指静脉数据集。
* VERA220：包含110名受试者、每人20张共2200张图像，采集于开放环境，存在轻微姿态变化和环境光干扰。
* TJU600：包含300名受试者、每人40张共12000张图像，分两次采集，包含多种手势和光照条件。
* SCUT1100：包含550名受试者、每人20张共11000张图像，在无约束动态场景中采集，存在明显的平面外旋转和灰度变化。
* FV-USM（手指静脉）：包含123名受试者、每人12张共1476张图像，分两次采集，用于评估时序上的类内鲁棒性。
* SDUMLA-HMT（手指静脉）：包含106名受试者、每人36张共3816张图像，包含多手指、多手势、多方向的丰富变化。

三、评估不止于"答对了多少题"：六维度的全面体检

在评价指标设计上，研究团队的眼光远不止于通常意义上的"识别准确率"。他们构建了六个相互补充的评估维度，就像给一辆汽车不只测试最高时速，还要测试刹车距离、油耗、侧风稳定性和碰撞安全等级。

1. 识别与验证性能：
2. Top-1准确率：衡量模型在测试集上的基本分类能力。
3. 等错误率（EER）：生物识别领域更严苛的标准，它是"误拒率等于误受率"时的那个点，数值越低越好。

4. TAR@FAR=0.0001：在"一万次中最多只允许错误放行一次陌生人"这个极端严苛条件下，正确接受真正用户的比率，这个指标最接近真实高安全场景的需求。

5. 校准性评估：
   关注模型的"诚实度"——当模型说"我有95%把握这是张三"的时候，现实中真的是张三的概率是否接近95%？用于量化这一点的指标叫做期望校准误差（ECE），它把所有预测按置信度分成若干个桶，计算每个桶里"模型说有多自信"和"实际上对了多少"之间的加权平均差距。ECE越低，说明模型的自信度越"诚实"。在生物识别这种安全攸关的领域里，一个既准确又诚实的模型，才是真正可信赖的系统。

6. 鲁棒性评估：分为三个子维度。

7. 腐蚀鲁棒性：参考ImageNet-C协议，实现19种不同类型的图像退化方式（包括高斯噪声、运动模糊等）。研究团队发现，标准协议中的最低严重等级（C3）对于静脉图像来说已经是灾难性的——几乎所有模型都崩溃了。原因在于，静脉图像中的身份信息本就藏在细如发丝的纹理里，哪怕是轻微的腐蚀就足以抹去这些信息。因此团队专门引入了两个更低强度的严重等级C1和C2，使评估更具区分度和实际意义。
8. 对抗攻击鲁棒性：采用两种经典白盒攻击方式，快速梯度符号法（FGSM）和投影梯度下降法（PGD），扰动幅度设为极小的0.2/255（在0到255的像素范围内只动了不到一个像素值的零点几），以反映静脉纹理低对比度的特点。

9. 遮挡鲁棒性：通过在测试图像上随机遮盖一块正方形区域，从0%到50%以2%为步长逐步增大遮盖面积，构建25个测试子集，观察不同增强方法训练出的模型对空间信息缺失的容忍程度。

10. 计算效率评估：
    关注的是"增强方法值不值这个价"。团队记录了每个方法的每轮训练时间、显存峰值和计算量（GFLOPs），并用一种名为APEX（增强性能与效率卓越）的排名方法综合评估。这个排名基于帕累托效率原则——如果一种方法在性能和各项效率指标上都没有被任何其他方法全面超越，它就是"非支配解"，排在第一梯队。通过迭代移除第一梯队，形成第二梯队、第三梯队，从而得到一个不依赖主观权重的综合排名。

四、识别性能的大比拼：混合方法的统治，以及令人意外的例外

把所有实验结果摊开来看，最显眼的规律是：在掌静脉数据集上，多图混合类方法（MixUp、PuzzleMix、StarMixup）几乎包揽了准确率榜单的前列。以VERA220数据集为例，在ResNet18骨干上，不做任何增强的基线模型（Vanilla）Top-1准确率只有71.45%，而MixUp一下子把这个数字推到了95.27%，PuzzleMix更达到95.55%，等错误率也从5.20%分别降至0.91%和0.83%。在SCUT1100这个更大、更难的数据集上，MixUp的ResNet18更是把等错误率从0.30%压低到0.07%，同时把TAR@FAR=0.0001这个极严苛指标从97.30%提升到99.63%——这意味着在一万次验证中，误识的概率从原来就已经很低的3‰进一步压缩到了几乎可以忽略不计的水平。

然而，当视野转向手指静脉数据集时，局面发生了戏剧性的逆转。在SDUMLA-HMT数据集上，MixUp反而把ResNet18的准确率从84.51%的基线拖到了79.87%——低于不做任何增强的水平。而RICAP这个相对冷门的混合方法，却以98.66%的准确率傲视群雄。在另一个手指静脉数据集FV-USM上，RandAugment以93.90%的准确率力压群雄，而MixUp仅有86.75%。这说明，增强方法的效果高度依赖于数据集的特性：掌静脉图像与手指静脉图像在成像方式、分辨率、纹理复杂度等方面都存在差异，同一种方法并不能无差别地搬来搬去。

在单图增强阵营里，TrivialAugment和RandomQuant表现出了跨数据集的一致稳健性，在掌静脉和手指静脉两种场景下都名列前茅。研究团队推测，TrivialAugment无需任何调参、直接随机采样的机制，可能偶然地降低了模型对特定传感器噪声和微小光照变化的敏感性，使其具有更广泛的适应性；RandomQuant则通过量化处理把连续像素值离散化，可能帮助模型学会忽略传感器级别的细节差异，专注于更宏观的结构特征。

而几乎所有的几何变换类方法——翻转、旋转、平移——在几乎所有数据集和模型上都带来了不同程度的性能下降。这印证了前文的推断：静脉识别的身份信息就藏在空间拓扑结构里，随意扭曲图像就是在抹去这张"身份密码"。

五、性能亮眼的背后：那些被遮掩的"暗面"

到这里，如果研究团队只是做到这一步，那最多算是一次规模较大的比较实验。真正让这项研究具有洞察价值的，是他们把评估扩展到了校准性、腐蚀鲁棒性、对抗攻击鲁棒性和遮挡鲁棒性这几个维度，而这些维度上的发现，彻底颠覆了"准确率高就是好方法"的朴素认知。

• 校准性方面：在VERA220数据集的ResNet18实验里，不做任何增强的基线模型ECE是4.1%，尚在可接受范围内。AutoAugment和KeepAugment甚至把ECE进一步压低到1.9%和2.3%。然而MixUp的ECE飙升到31.3%，PuzzleMix是29.7%，StarMixup更高达35.3%——意味着模型说"我有95%把握"的时候，实际上可能只有64%的把握。对于需要高度可信赖的生物识别系统来说，这是个严重问题：系统可能大声而坚定地给出一个错误的判断。

• 对抗攻击鲁棒性方面：出现了一个更令人震惊的反差。在TJU600数据集的ResNet18上，基线模型面对FGSM攻击时准确率为40.93%，面对更强的PGD攻击时降至30.45%。标签平滑方法大幅提升了这个数字：在FGSM攻击下达到75.18%，在PGD攻击下达到70.37%，几乎翻了一倍。而MixUp呢？在FGSM攻击下只剩18.80%，PGD攻击下更惨烈至4.87%——远低于不做任何增强的基线水平。研究团队给出的解释是：MixUp训练时使用软标签，相当于故意模糊了不同身份之间的类别边界，这给对抗攻击提供了更大的"攻击面"，让微小的扰动也能轻易把模型推过决策边界。

• 标签平滑的另一面：虽然它的对抗鲁棒性最强，但它的ECE得分却高得离谱——在TJU600数据集的ResNet18上高达47.88%。也就是说，它虽然扛得住攻击，但自我报告的置信度严重失真。

• 腐蚀鲁棒性方面：混合类方法总体上表现最好，以MixUp和PuzzleMix在VERA220数据集ResNet18上的表现为例，在C1、C2、C3三个由轻到重的腐蚀等级下，准确率分别为85.51%/75.05%/57.19%和87.05%/77.10%/58.75%，而基线模型是69.59%/61.99%/46.70%，优势明显。但即便如此，在最高腐蚀等级C3下，所有模型都出现了大幅下滑，这说明静脉图像对图像质量退化极度敏感，这是一个目前所有增强方法都没能彻底解决的硬伤。

• 遮挡鲁棒性方面：结果相对更积极。在VERA220和TJU600的遮挡测试中，以Cutout、CutMix、PuzzleMix为代表的"切块"类方法表现出了明显更强的韧性——因为这些方法在训练时本就让模型适应了局部信息缺失的情况。相比之下，MixUp或标签平滑等方法训练出的模型，在遮挡比例提高时准确率下降得更快。

六、方法的"化学反应"：组合比单独使用更有效

研究团队还专门做了一系列"配方实验"，探究不同类别的增强方法混合使用时会不会产生"1+1>2"的效果。结果显示，来自不同大类的方法组合使用时，几乎总能产生超越单独使用的效果。

在ResNet18结合VERA220的实验里：
* AutoAugment单独使用时准确率为80.82%，TAR@FAR=0.0001为65.09%；在此基础上加入LabelSmoothing，准确率提升到89.73%，TAR@FAR=0.0001提升到78.64%。
* MixUp单独使用时准确率为95.27%；叠加LabelSmoothing后提升到97.18%，等错误率从0.91%进一步压缩到0.63%。
* 终极组合：AutoAugment加上PuzzleMix再加上LabelSmoothing，在VERA220上达到了98.00%准确率、0.56%等错误率和95.27%的TAR@FAR=0.0001，在TJU600上则达到96.50%准确率和0.45%等错误率。

相比之下，同一大类内的方法叠加收益要小得多。AutoAugment和MixUp同属不同大类，它们的组合效果远超各自单独使用；而两种策略驱动类方法的叠加，带来的提升则微乎其微。这说明不同类别的增强方法针对的是不同的问题：策略驱动方法改善了图像层面的多样性，混合方法优化了决策边界的平滑性，标签增强方法则调节了训练目标的校准性，三者相辅相成。

七、效率这把尺：哪些方法在"性价比"上脱颖而出

在以MobileNetv2为基准、VERA220为数据集的效率分析中，大多数方法与基线模型共享完全相同的推理计算量（0.65 GFLOPs）和参数量，因此它们的额外开销主要体现在训练时间和显存上。

• 第一梯队（高性价比）：
• MixUp：几乎无懈可击。准确率从71.64%跃升至95.55%，而每轮训练时间仅从5.02秒微增至5.04秒，显存占用也几乎没有变化。
• StarMixup：准确率达到92.55%，训练开销与Vanilla相当。

• ResizeMix和DirichletLabelSmooth：也进入了第一梯队。

• 第二梯队（高性能高代价）：

• PuzzleMix：虽然达到了最高的95.91%准确率，但它需要两倍的GFLOPs（1.31）和更长的训练时间（8.66秒/轮），因此在效率-性能综合排名中被归入第一梯队，但整体代价更高。

• 第五梯队（低效低能）：

• TeachAugment：代价最为高昂，需要3.82倍的GFLOPs、9.92秒/轮的训练时间和高达12156.80MB的峰值显存，而准确率仅有59.86%，远低于基线。
• SoftAugment：耗时11.79秒/轮，同样进入第五梯队。

归根结底，这项研究讲的其实是一个关于"理想与现实"的故事。研究者们本以为，给人工智能更多样化的训练素材，它就能认识更多的静脉图案，结果确实如此——至少在"答对了多少题"这个维度上。但当你追问"答题时有多自信？""面对刁难时还能不能答对？""被遮住一半还能不能答对？"，整个排行榜就重新洗牌了，原来的冠军可能变成末尾。

这意味着，在生物识别这个安全攸关的领域，用单一的准确率指标来评价一种增强方法，根本不够用。一套真正可靠的系统，需要同时在准确性、校准诚实度、对抗鲁棒性、腐蚀鲁棒性和遮挡鲁棒性上都达到可接受的水平，而目前还没有任何一种增强方法能够全面做到这一点。研究团队希望，AGVBench能成为一块标准"试金石"，推动后续研究设计出能同时满足多维度要求的新型增强策略。目前，他们已将完整代码库开放在GitHub上（可通过"Advance-VeinTech-Innovators/AGVBench"找到），对这一领域感兴趣的研究者可直接获取完整实验代码、数据集配置和基线结果，无需从头复现。

Q&A

Q1：AGVBench评估的是什么？

A：AGVBench是一个专门针对静脉识别领域的数据增强方法评估平台，由重庆工商大学等机构联合开发。它系统评估了30种数据增强策略在五个公开静脉数据集（包括掌静脉和手指静脉）上的表现，测试维度涵盖识别准确率、等错误率、校准性、腐蚀鲁棒性、对抗攻击鲁棒性和遮挡鲁棒性共六个方面，目的是为研究者提供一个标准化、可复现的评测基准。

Q2：MixUp在静脉识别上效果好不好？

A：MixUp在提升识别准确率和等错误率方面表现突出，尤其在掌静脉数据集上效果显著。但它同时也是校准性最差的方法之一，期望校准误差（ECE）可高达35%，并且对抗攻击鲁棒性极弱，在PGD攻击下准确率可跌至4.87%，远低于不做任何增强的基线。因此，MixUp适合对安全性要求不高的场景，但不适合作为高安全静脉识别系统的单一增强策略。

Q3：几何变换类增强方法（如旋转、翻转）适合用于静脉识别吗？

A：总体来说不适合。AGVBench的实验结果显示，翻转、旋转、平移等几何变换在几乎所有数据集和模型架构上都导致了性能下降。原因是静脉识别的身份信息藏在血管的拓扑结构和相对位置关系中，随意的空间变换会破坏这些精细结构，让模型难以提取有效的身份特征，效果适得其反。

相关文章