Deepfacelab之Xseg遮罩模型详解,值得收藏

发布网友发布时间：2024-10-01 18:59

共1个回答

热心网友时间：2024-10-18 04:00

学会使用遮罩模型，是菜鸟向高手进阶的重要一步。遮罩能帮助你处理那些难以通过训练生成的细节，比如头发、眼镜、舌头等。例如，当目标图像(dst)包含眼镜，而源图像(src)不包含眼镜，直接将src贴在dst上，眼镜就会被遮盖，留下奇怪的眼镜腿。通过Xseg遮罩模型，可以自动提取出眼镜部分，让src带上眼镜，效果更自然。

为了实现这一目标，可以使用预先训练好的模型，例如从链接: pan.baidu.com/s/1Xes3Vl... 提取码：xlet 下载的多个deepfacelab模型（模型+遮罩+说明）。或者，如果你想自己训练模型，那么训练一个Xseg模型是必要的。与手动绘制遮罩相比，训练模型能极大降低工作量。对于60秒视频，每秒25帧，总共有1500张图片，手动绘制遮罩需要极高的耐心和细心。而使用Xseg模型，只需在关键动作上绘制20-50张遮罩，再训练模型，模型将学习并为其他类似图片自动绘制遮罩。

训练Xseg模型分为两步。首先，绘制训练素材的遮罩，这需要使用deepfacelab自带的工具手动完成，工作量巨大，通常需要几十到几百张关键动作的遮罩。对于初学者，建议直接使用已训练好的模型，例如dfldata.xyz论坛置顶的万能Xseg模型，以节省时间和精力。

如果你想尝试自己制作Xseg模型，步骤如下：

提取目标图像(dst)和源图像(src)的人脸，获得对应的aligned文件夹。
使用5.XSeg) data_dst mask for XSeg trainer - edit.bat脚本，打开绘制工具，为dst绘制遮罩。对src进行相同操作。
完成绘制后，使用5.XSeg) train.bat脚本开始训练过程，选择合适的脸型参数（如wf或f），保持默认的bs大小。如果遇到显存不足的错误，请减小bs大小。训练完成后，模型将存储在model文件夹中。

使用Xseg模型有两种方式：一种是提前生成遮罩，将其应用到训练素材中；另一种是合成时实时生成遮罩并预览。推荐使用实时生成遮罩的方式，因为它可以更直观地观察遮罩效果，方便调整。

最后，Xseg模型具有复用性。无需每次使用都重新训练模型，可以将新素材与现有模型结合训练，以提升模型处理遮罩的能力。每次完成的遮罩图应保留，以便在下次使用时作为训练素材。