Skip to content

进阶文档‐Scene Lora

hkz edited this page Jan 3, 2024 · 4 revisions

Scene Lora Train And Inference(场景Lora训练与推理)

一、为什么要训练场景Lora

此前EP更多关注在有模板的人像替换上,但这种情况下,模版的变化是非常小的,但许多用户期待可以基于一套已有的模板,可以生成一套多变的其它模板

场景Lora的训练用于支持用户对多变场景模板的需求,用户可以通过上传一套同类型的已有的模板,然后训练一个场景的Lora

在使用时,EP会基于该Lora进行文生图,然后再进行EP的链路,获得指定场景下的AI写真图片

二、效果展示

image

三、使用说明

1、预测说明

a、预测步骤

场景Lora选项在一开始的时候是折叠的,可以通过点击打开:

image

我们会在EP中预设一定的场景Lora,初次点击某个Lora时会自动进行下载,每个场景Lora大约200M左右;

image

在点击某个场景Lora后,Text2Photo Input Prompt与Scene Lora的名称会自动进行更改。

image

然后修改下方的user_0 id开始生成即可:

image

最后我们可以获得生成结果:

image

b、预测注意事项

  • 初次点击预设的场景Lora会进行下载,看起来好像卡了一样,这个不碍事。
  • 点击场景Lora会自动填充prompt与scene id,如果期望与场景Lora最大程度的相像,尽量不修改prompt与scene id。
  • 如果想取消场景Lora的应用,可以选择none。
  • 如果是自己训练场景Lora,刚训练的Lora不会自动加载,需要点击右边的刷新按钮进行刷新。

2、训练说明

a、数据集准备

训练可以以极简风(Minimalism)为例进行第一次训练,后面按照类似的方式进行图片准备即可。

Updated PR #351: 用户可以在上传训练图片和对应的文本描述(.txt 后缀,且文件名与对应的训练图片一致;训练数据集的格式可以参考 Christmas with caption)。该功能适用于不同场景模板图片之间存在较大的差异,无法用固定文本去描述所有训练图片的情形。在预测阶段,会从训练的文本描述中随机选取一个填充在 Text2Photo Input Prompt 中。 image

b、训练步骤

场景Lora的训练界面与人物训练界面类似,可以通过选择The Type of Lora进行修改,选择Train Scene Lora即可,选择后一些训练参数会自动更新。

image

如下图所示,带框的参数是会自动出现与修改的,参数及其作用如下:

  • Corresponding Prompts to the Template(与模板相关的描述):必填,与训练图片相对应的描述,尽量描述每个训练相似的部分,以预设的Christmas_1为例,典型图片如图所示,此时她的提示词为:1girl, red sweater, antlers, candy_cane, cherry, christmas, christmas_ornaments, gift, gift_box, holly, long_hair, merry_christmas, ornament, reindeer, reindeer_costume, santa_costume, snow, snowflakes, wreath,基本包含了该训练图片的所有元素。Updated PR #351: 如果用户上传了训练图片对应的描述文件,则不用填写该栏。

image

  • crop ratio:默认为3,代表 人脸裁剪时,附近背景的填充比例值越大,人脸附近的背景越多;值越少,人脸附近的背景越少。为1时基本只包含人脸。 Updated PR #351: crop ratio 小于 1 时,不会对用户上传的训练图片进行裁剪,从而能够在使用场景 Lora 推理时生成类似训练图片的背景以及服饰信息。
  • resolution:默认为768,代表 训练图片的分辨率,由于背景的内容一般比人脸更多,所以更高的分辨率可以取得更好的结果。
  • rank和network alpha:默认为256和128,相比与人像Lora,rank从128提升到256,可以训练更多的背景信息到Lora中,性能更好。

image

在选择好The Type of Lora并且对应参数变化后,在左侧进行期望的场景风格模板的上传,需要注意的是,上传的场景模板需要包含人物与人像,不然无法自动检测与裁剪。

image

c、训练注意事项

  • 请上传大概15-20张图片进行训练,太少的图片容易导致场景Lora过拟合,导致效果不好。
  • 上传的场景模板需要包含人物与人像,不然无法自动检测与裁剪。
  • 尽量不要在训练图片中包含手部,因为Stable Diffusion画手画不好,容易导致出图质量低。