京东开源图像编辑模型JoyAI-Image-Edit,性能达国际领先水平

2026年04月08日

京东悄悄把图像编辑这事干得挺扎实。没有铺天盖地的发布会,也没堆砌一堆参数术语造势,而是直接把 JoyAI-Image-Edit 模型代码、权重和推理脚本全量开源到 GitHub。关键是,它在多个主流图像编辑基准测试中跑出了接近甚至超越当前 SOTA 方法的表现不是某个子任务上小修小补,而是在语义一致性、局部细节还原、多步编辑鲁棒性这些硬指标上整体站稳了第一梯队。

不靠堆卡,靠结构设计

JoyAI-Image-Edit 的核心突破不在模型规模,而在编辑路径建模方式。传统方法常把“编辑指令→图像”当成端到端映射,容易忽略用户意图与像素变化之间的中间语义断层。京东团队转而构建了一种双通路注意力机制:

1. 一条通路专注解析文本指令中的动作动词(如“擦除”“替换”“添加”)与目标对象属性(如“红色雨伞”“玻璃材质”);

2. 另一条通路同步对原图进行分层特征解耦,区分背景结构、前景物体、纹理细节三层表征;

3. 两路特征在隐空间中通过可学习门控模块动态对齐,确保编辑操作只扰动目标区域,其余部分保持冻结。

这种设计让模型在处理“把左下角的纸杯换成陶瓷马克杯,保留桌面木纹和阴影”这类复合指令时,失败率比 Stable Diffusion + Inpainting Pipeline 低 37%(基于 EditBench v2 测试集)。

真能用,不是 Demo

开源包里没塞任何“仅供研究”的水分:

1. 提供完整 CLI 工具链,支持单图命令行编辑、批量任务队列、本地 WebUI(基于 Gradio,无需 Docker);

2. 内置 12 类高频编辑模板,覆盖擦除/重绘/风格迁移/分辨率提升/光照调整等场景,每类附带真实用户反馈优化过的 prompt 工程示例;

3. 模型量化后可在消费级显卡(RTX 4070 及以上)实现 2 秒内完成 1024×1024 图像编辑,显存占用压到 5.2GB;

4. 所有训练数据均来自京东自有电商图像库脱敏样本,经人工校验标注,规避了网络爬取图像常见的版权与伦理风险。

行业里不少开源模型仍困在“能跑通 demo”阶段,而 JoyAI-Image-Edit 已在京东内部接入商品图自动化修图系统,日均处理超 80 万张 SKU 图片,错误返工率从人工审核的 6.3% 降至 1.1%。

和谁比?数据说话

在评测平台 LiveBench-Image 的最新季度报告中(2025 年 Q2),JoyAI-Image-Edit 在三项关键指标上进入前三:

1. 指令遵循准确率:92.4%,仅次于 Google 的 Imagen-3 Editor(93.1%);

2. 编辑后图像自然度(FID 分数):8.7,优于 Runway Gen-3(10.2);

3. 多轮连续编辑稳定性(5 步以上不崩坏):86.5%,领先 Adobe Firefly v3(79.3%)。

需要注意,它在中文指令理解维度表现尤为突出当输入“把模特穿的T恤换成带熊猫图案的短袖,袖口要卷到小臂一半”,识别准确率比英文指令平均高 4.8 个百分点,这背后是京东自建的 200 万组中英双语图文对齐数据集起了作用。

以上是 JoyAI-Image-Edit 当前能力边界的客观呈现,希望对你评估图像编辑工具选型有所帮助。

免责申明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流,不为其版权负责。如果您发现网站上有侵犯您的版权,请与我们取得联系,我们会及时修改或删除。

相关

叙述跨境独立站搭建
嗨,想咨询什么业务?
深色
顶部