-
Notifications
You must be signed in to change notification settings - Fork 398
进阶文档‐Scene Lora
此前EP更多关注在有模板的人像替换上,但这种情况下,模版的变化是非常小的,但许多用户期待可以基于一套已有的模板,可以生成一套多变的其它模板。
场景Lora的训练用于支持用户对多变场景模板的需求,用户可以通过上传一套同类型的已有的模板,然后训练一个场景的Lora。
在使用时,EP会基于该Lora进行文生图,然后再进行EP的链路,获得指定场景下的AI写真图片。
场景Lora选项在一开始的时候是折叠的,可以通过点击打开:
我们会在EP中预设一定的场景Lora,初次点击某个Lora时会自动进行下载,每个场景Lora大约200M左右;
在点击某个场景Lora后,Text2Photo Input Prompt与Scene Lora的名称会自动进行更改。
然后修改下方的user_0 id开始生成即可:
最后我们可以获得生成结果:
- 初次点击预设的场景Lora会进行下载,看起来好像卡了一样,这个不碍事。
- 点击场景Lora会自动填充prompt与scene id,如果期望与场景Lora最大程度的相像,尽量不修改prompt与scene id。
- 如果想取消场景Lora的应用,可以选择none。
- 如果是自己训练场景Lora,刚训练的Lora不会自动加载,需要点击右边的刷新按钮进行刷新。
训练可以以极简风(Minimalism)为例进行第一次训练,后面按照类似的方式进行图片准备即可。
Updated PR #351: 用户可以在上传训练图片和对应的文本描述(.txt
后缀,且文件名与对应的训练图片一致;训练数据集的格式可以参考 Christmas with caption)。该功能适用于不同场景模板图片之间存在较大的差异,无法用固定文本去描述所有训练图片的情形。在预测阶段,会从训练的文本描述中随机选取一个填充在 Text2Photo Input Prompt 中。
场景Lora的训练界面与人物训练界面类似,可以通过选择The Type of Lora进行修改,选择Train Scene Lora即可,选择后一些训练参数会自动更新。
如下图所示,带框的参数是会自动出现与修改的,参数及其作用如下:
- Corresponding Prompts to the Template(与模板相关的描述):必填,与训练图片相对应的描述,尽量描述每个训练相似的部分,以预设的Christmas_1为例,典型图片如图所示,此时她的提示词为:1girl, red sweater, antlers, candy_cane, cherry, christmas, christmas_ornaments, gift, gift_box, holly, long_hair, merry_christmas, ornament, reindeer, reindeer_costume, santa_costume, snow, snowflakes, wreath,基本包含了该训练图片的所有元素。Updated PR #351: 如果用户上传了训练图片对应的描述文件,则不用填写该栏。
- crop ratio:默认为3,代表 人脸裁剪时,附近背景的填充比例。值越大,人脸附近的背景越多;值越少,人脸附近的背景越少。为1时基本只包含人脸。 Updated PR #351: crop ratio 小于 1 时,不会对用户上传的训练图片进行裁剪,从而能够在使用场景 Lora 推理时生成类似训练图片的背景以及服饰信息。
- resolution:默认为768,代表 训练图片的分辨率,由于背景的内容一般比人脸更多,所以更高的分辨率可以取得更好的结果。
- rank和network alpha:默认为256和128,相比与人像Lora,rank从128提升到256,可以训练更多的背景信息到Lora中,性能更好。
在选择好The Type of Lora并且对应参数变化后,在左侧进行期望的场景风格模板的上传,需要注意的是,上传的场景模板需要包含人物与人像,不然无法自动检测与裁剪。
- 请上传大概15-20张图片进行训练,太少的图片容易导致场景Lora过拟合,导致效果不好。
- 上传的场景模板需要包含人物与人像,不然无法自动检测与裁剪。
- 尽量不要在训练图片中包含手部,因为Stable Diffusion画手画不好,容易导致出图质量低。