【PaintsUndo】一张图,生成从线稿到上色全过程
发布网友
发布时间：2024-10-01 14:23
共1个回答
热心网友
时间：2024-10-14 08:16
PaintsUndo 是一个专注于数字绘画行为的 AI 模型，通过分析输入的静态图像，提取出绘画的草图，实现从外部草图的插值，甚至能将动漫风格的作品转换为草图风格。这项技术在图像处理领域具有重要性，可广泛应用于艺术创作、教育和娱乐等领域。
PaintsUndo 的目标受众包括数字艺术家、设计师、教育工作者和对 AI 艺术创作感兴趣的爱好者。该技术能够帮助艺术家快速生成草图，为设计师提供灵感，同时在教育领域可以作为教学工具，帮助学生理解绘画过程。
目前，PaintsUndo 提供了两个型号：paints_undo_single_frame 和 paints_undo_multi_frame。使用单帧模型可以获取 5-7 个“关键帧”，然后使用多帧模型来“插值”这些关键帧，最终生成一个相对较长的视频。理论上可以生成无限长的视频，但在开发测试中，帧数为 100-500 时，结果较好。多帧模型输入为两张图片，输出是这两张图片之间的 16 帧中间帧，其结果比单帧模型更加一致，但也更慢，创造性较低。
介绍中提到，项目测试是在 24GB 显存的 Nvidia 4090 和 3090TI 上进行。理论上说，16GB 的显存应该也够用，但 8GB 就不行了，最少需要大概 10 到 12.5GB 的显存。根据不同配置，处理一张图大约需要 5-10 分钟。生成视频时长 25 秒，帧率为 4FPS，分辨率可能是 320x512、512x320、384x448 或 448x384。
目前作者还没有出 ComfyUI 的应用插件，等后续有了我会继续补充应用方法！
PaintsUndo 的使用场景包括：设计师利用模型从现有图像生成更多新的设计概念（单输入多输出）；教育工作者在课堂上展示绘画过程，帮助学生理解艺术创作（输入线稿，生成线稿绘制过程）；插入一张线稿，直接在此线稿基础上填色也行。
视频演示：lllyasviel.github.io/pa... 项目地址：github.com/lllyasviel/P...
