上交大提出ICRDrag：首个上下文区域拖拽模型，精准可控图像编辑

发布时间：2026-07-17 11:16:05 来源：安智兰德资讯网 作者：时尚

告别 DragGAN 与 DragDiffusion 时代！上交首个上下传统点选拖拽修图常伴随的大提形变失真、边界割裂及细节丢失问题，文区如今有了终极解决方案。域拖ECCV 2026 最新成果 ICRDrag首创“上下文区域拖拽”模型，拽模准通过掩码精准定位局部区域，型精像编实现移动、控图缩放、上交首个上下变形的大提丝滑自然过渡，在确保极高精准度的文区同时，完美保留画面真实感。域拖

Paper:https://arxiv.org/pdf/2606.25907
GitHub:https://github.com/bcmi/ICRDrag-Region-Drag-Editing
Demo:https://drag.ustcnewly.com/

效果展示

在编辑演示中，拽模准每组图像左侧蓝色掩码代表源区域，型精像编右侧红色掩码代表目标区域。控图ICRDrag 的上交首个上下核心逻辑是将源区域精准拖拽至目标区域，同时保持其他区域细节不变，仅允许必要的跟随性联动（如嘴巴移动带动下巴自然跟随）。实验表明，ICRDrag 能轻松驾驭各类图片的姿态调整与形状重塑。

Demo 交互体验：
用户可使用不同颜色绘制多对源区域和目标区域（目前支持最多 5 对），实现多区域同步拖拽。若发现非目标区域出现 unwanted 改动，只需在该区域增加类似“锚点”的源-目标掩码对，即可锁定该区域，防止意外变形。

立即体验：https://drag.ustcnewly.com/

直击痛点：传统拖拽修图的局限

AI 拖拽编辑虽已普及，但现有方案仍存在显著缺陷：

1. 基于单点拖拽的模糊性
   DragGAN、DragDiffusion 等主流模型依赖少量点对控制画面。点对信息稀疏，AI 难以准确推断用户意图。点越少，歧义越大，精准调整物体形态往往依赖运气，难以严格对齐目标位置。
2. 现有区域拖拽的融合缺陷
   RegionDrag、DragFlow 等模型虽引入掩码控制区域，但仍存在明显短板：物体拖拽后边缘出现断层，与背景融合生硬；面对复杂形状和姿态调整时，控制力不足。

核心技术：上下文区域拖拽 (ICRDrag)

ICRDrag（In-Context Region-based Drag）提出全新解法，真正实现“选啥改啥”的精准控制：

• 上下文学习框架 (In-Context Learning)
  基于 DiT 架构，一次性输入原图、源区域掩码及目标区域掩码，直接输出编辑结果。从底层架构解决拖拽编辑的控制难题，避免迭代过程中的误差累积。
• 图像-掩码注意力一致性约束
  强制目标图像在借鉴原图信息时，其注意力分布必须与目标掩码匹配源掩码的分布保持一致。AI 不再割裂看待图片与选区，生成画面严格贴合掩码划定的空间轮廓。
• 源-目标双向注意力对应约束
  建立编辑前后的物体对应关系：目标物体关注原图对应区域，原图区域也反向关注目标物体，确保语义逻辑的一致性。
• 图片/掩码专属模态 LoRA
  鉴于图像富含纹理细节而掩码仅存储空间轮廓，二者性质差异巨大。ICRDrag 为图像分支和掩码分支分别部署独立的 LoRA 模块，优化特征提取效率。
• 分阶段课程式训练 (Curriculum Learning)
  针对用户手绘掩码往往粗糙的问题，模型采用两阶段渐进式训练：
• 第一阶段：使用完整语义掩码训练，让模型掌握区域变换的基本逻辑。
• 第二阶段：使用稀疏且不完整的掩码训练，通过随机膨胀模拟手绘粗糙选区，大幅提升模型的容错率。即使掩码绘制潦草，AI 仍能精准理解编辑意图。

数据基石：区域拖拽大规模数据集

为支撑 ICRDrag 的训练，团队基于百万级视频数据集 OpenVid，构建了首个大规模区域拖拽数据集 PRD (Paired Region Dataset)，填补领域空白：

• 训练集 PRD：包含 28.7 万组高质量配对样本（原图 + 源掩码 + 目标图 + 目标掩码）。如图所示，左栏展示原图、源掩码及采样区域，右栏展示目标图、目标掩码及采样区域，确保数据分布的多样性与准确性。
• 评测基准 PRDBench：包含 1000 组人工校验的高质量样本，同时标注掩码与关键点，为公平对比点拖拽与区域拖拽两类模型提供了标准化基准。

应用场景

ICRDrag 的精准可控特性，使其成为设计师与摄影爱好者的得力工具：

• 人像修图：框选人脸、四肢，自由调整身材比例、姿态及五官位置，确保不变形、不失真。
• 静物/产品设计：拖拽商品调整摆放位置或缩放大小，无需重新绘制光影，保持物理一致性。
• 场景构图优化：移动画面中的人物、花草、建筑，模型自动智能填充背景，实现无缝融合。
• 创意设计：自由扭曲物体轮廓，实现复杂创意形变，彻底告别生硬的拼接感。

实验室简介

ICRDrag 出自上海交通大学牛力实验室。该实验室近年来深耕图像生成与编辑领域，核心研究方向包括：
* 图像合成 / 物体插入 (Image Composition / Object Insertion)
* 少样本图像生成 (Few-shot Image Generation)
* 图像填充、图像分层、风格迁移及拖拽编辑等子领域

近两年，实验室重点关注生成模型的后训练技术以及理解与生成一体化模型的研究。

相关文章