Reddit用户构建的图像编辑器击败了实验室模型

学术基准可能具有欺骗性。在排行榜上领先的图像编辑模型在面对实际用户请求的混乱情况时常常失败。一个名为RealEdit的新数据集旨在弥合这一差距。它从Reddit上数千个真实的编辑对话中构建，为研究人员提供了包含9,300个示例的测试集和48,000个训练对。所有这些都反映了真实的人类意图，而非合成提示。英伟达数据图谱显示：合成数据比模型权重更重要

研究人员发现，市售模型在这些真实世界任务中表现不佳。因此，他们在RealEdit训练集上训练了自己的模型。在人工评估中，其Elo评分最高领先竞争对手165分。在自动VIEScore指标上，其相对改进了92%。该团队将模型部署到Reddit上，用户反馈积极。这种实际验证是实验室结果难以捕捉的。Ai2发布olmo-eval：为LLM开发者提供每个检查点的显微级评估

“现有模型尚未广泛用于满足真实用户需求，”团队指出。当前数据集使用人工编辑，缺乏满足用户请求真实多样性所需的规模和生态效度。RealEdit通过获取人们实际想要并自行完成的编辑来改变这一点。

超越图像编辑：深度伪造检测的提升

更引人注目的发现之一是RealEdit的可迁移性。研究人员与一家深度伪造检测非营利组织合作，在RealEdit数据上微调其检测模型。结果：F1分数提升了14个百分点。这表明该数据集捕捉了真实的操纵模式，这些模式可以泛化到超出随意照片修复的取证领域。十五篇AI生成文章揭示出比任何单个模型都更重要的三大转变

时机很重要。生成式AI使图像编辑变得更简单，也更难被发现。基于合成伪造品训练的检测器可能无法承受真实世界的压力。RealEdit提供了一种替代方案：人类编辑意图的真实痕迹，可能更难被对手利用。AI模型无法停止“边想边说”。这对安全性而言既是好消息，也是噩梦。

该论文发表在arXiv上，标识符为2502.03629。数据集以peter-sushko/RealEdit形式提供。它们共同为更具生态效度的训练流程打开了大门。对于研究生成模型的研究人员来说，这提醒人们，用户实际想要编辑的内容与基准测试的内容并不总是一致。M3D 与 Real-Guidance 将数据集蒸馏推向高分辨率领域

RealEdit团队计划继续扩展数据集，并邀请社区贡献。目标是继续缩小实验室性能与现实世界实用性之间的差距。