6月6日,字节跳动Seed团队正式发布了图像编辑模型SeedEdit3.0。这一全新版本的图像编辑模型在图像主体保持、背景细节处理以及指令遵循等方面取得了显著进步,极大地提升了图像编辑的可用率和效率。
SeedEdit3.0是基于文生图模型Seedream3.0开发的,通过引入多样化的数据融合方法和特定奖励模型,解决了以往图像编辑模型在主体与背景保持、指令遵循等方面的不足。该模型能够处理并生成4K分辨率的图像,在编辑区域的精细处理和非编辑区域的高保真保持方面表现出色。尤其在人像编辑、背景更改、视角与光线转换等复杂场景中,SeedEdit3.0展现了卓越的能力。
例如,在移除图片中多余行人的任务中,SeedEdit3.0不仅能够准确识别并移除无关人物,甚至连人物的影子也能一并去除,显示出强大的细节处理能力。在将2D绘画转换为真实模特的任务中,该模型能够很好地保持人物的衣帽穿搭和手提包等细节,生成的图片兼具时尚街拍感。此外,SeedEdit3.0还能处理复杂的光影变换,从近处的房屋到远处的海水波纹,细节都能合理保留并跟随光线变化进行“像素级”的渲染调整。
为实现这些能力,Seed团队在研发过程中提出了一种高效的数据融合策略,并构建了多种专用奖励模型。通过将这些奖励模型与扩散模型联合训练,团队针对性地改善了关键任务的编辑质量,如人脸对齐、文本渲染等。同时,SeedEdit3.0在推理加速方面也进行了优化,使其能够实现10秒级的快速推理。
在评估SeedEdit3.0的性能时,团队收集了数百张真实与合成的测试图像,并构建了23类编辑操作子任务,涵盖风格化、添加、替换、删除等常见操作以及相机运动、物体位移、场景切换等指令式动作。机器评测结果显示,SeedEdit3.0在编辑保持效果和指令响应能力上均领先于此前版本以及其他同类模型。真人评测结果也表明,SeedEdit3.0的图像保持能力最为突出,可用率达到了56.1%,较此前版本有了显著提升。
SeedEdit3.0的发布,标志着图像编辑技术在AI领域的又一次重要进步。该模型不仅在技术上实现了多项创新,更在实际应用中展现出极高的实用性和效率。目前,SeedEdit3.0的技术报告已经对外公开,模型也在即梦网页端开启了测试,豆包App也即将上线。用户可以通过上传参考图并输入修改Prompt来体验这一强大的图像编辑工具。
项目主页:
https://seed.bytedance.com/seededit
技术报告:
https://arxiv.org/pdf/2506.05083
体验入口:
即梦网页端-图片生成-上传参考图-选择图片3.0模型-输入修改 Prompt(灰度测试中);
豆包 App-AI 生图-添加参考图-输入修改 Prompt(即将上线)。
来源https://www.aibase.com/zh/
评论 (0)