Ridley

GF 2024-08-07 10:35

（交流群：https://discord.com/invite/3Jwx4MwKQe）

只看GF | | 小中大

[lora模型训练] Pony模型多人lora训练

这期主要是回顾一下自己的炼丹过程（借论坛归个档）

先简单分享一下炼丹成果图（YYB式Miku&Rin）

注：图1和图2是区域条件控制生成的

训练参数

训练集一共是280张图，含有三个角色，其中多人图大概50张左右，训练总步数多人图则大概占1/4，当然这些数据也没什么太多意义，顶多作为一个参考值方便训练后续模型。

选取的network dim/alpha=64/32，大抵是溢出的，32/16训练效果也应该是接近的，不过我同时学习了大量的服装差分，所以还是选择偏大的体积。

一轮训练总步数在900~1000之间，测试下来在epoch>=16时效果最好，而之前训练单人lora(32/16)时，10<=epoch<=12的效果最好。你可以简单理解为想成功学习一个角色那这个角色的图像总迭代步数是大致恒定的，假设为N，那训练M个角色就需要M*N步，即epoch=M*N/单轮迭代步数（纯错误假设，具体训练要看情况）。

训练集处理

关键的还是在于训练集的处理和打标，详细的逻辑原理讲起来就没完没了，直接说建议吧。

1. 多人训练集里每个人物的总迭代步数需要接近，比如你有3张角色A和5张角色B，那你就可以一轮里设置角色A图迭代5次，角色B迭代3次；

2. 尽可能加入一些角色之间两两配对的图，也使得总迭代步数接近，当然如果你不希望某两个角色同时出现在一张图里那就没必要配对了。至于三人以上配对，我只能说Pony也做不到啊；

3. 角色标签之间不要互相影响（可以给每个角色一个特殊触发词，比如Miku: yybmiku，Rin: yybrin），也不要添加发色、瞳色等不希望发生变化的内容（但在画图的时候可以使用）；

4. 不要用特殊触发词去指代复杂的服装，尝试对服装进行合理拆分描述但又不重复，比如图里的十周年服装我给出的标签是[Miku: long sleeves, layered skirt, necktie, thigh strap, half gloves]，[Rin: detached sleeves, detached leggings, neckerchief, sailor collar, sleeveless shirt, short shorts, arm tattoo, belt, fingerless gloves]。具体的提示词可以上Danbooru找，上面也会给出标签适用范围和哪些标签之间会存在简并，在模型训练时还是相当准确的。当然如果你只训练人物不训练服装，那完全交给机器打标就可以了；

5. 对于想学习的服装概念，避免使用white dress, bridal gauntlets, white gloves, wedding等婚纱相关的提示词去描述，Pony在这方面存在严重过拟合，添加这些提示词的服装都会变成Pony版婚纱。你可以添加侧面与背面图让模型学习更多服装细节。

工具推荐

图像爬取：deepghs/waifuc

视频截图：Adobe Premiere or waifuc

图像修理：Adobe Photoshop [AI移除工具(清除文字和修复错误)与背景扣除(背景过于重复单调的时候需要扣除)]

图像裁剪与缩放：我用下来最方便和准确的还是用comfyui写个简单工作流，用yolo模型批量识别人物身体进行裁剪，再统一resize到1280*1280分辨率以下（固定原图宽高比）。当然并不是所有图像都需要裁剪，把人物区域占比过小或者没有居中的图筛出来再进行批量裁剪。你也可以尝试用imgutils进行批量自动裁剪。

图像打标：waifuset

以上只是我个人炼丹的经验，百分百是存在纰漏的，欢迎探讨。

最后照例是安利一下交流群（南十字AI联盟 https://discord.gg/zybMtwzm6M），本帖的lora模型也分享在群里。欢迎来讨论炼丹经验，分享互联网模型（什么时候能开个civita每日优秀模型专题）和原创模型（来点私炉谢谢）。

顶端

zzzcv

B1F 2024-08-14 07:10

只看该作者 | | 小中大

大佬训练用的是秋叶的整合包吗？一直想炼pony的lora但是不知道3060能炼不

顶端

Ridley

B2F 2024-08-14 09:32

（交流群：https://discord.com/invite/3Jwx4MwKQe）

只看该作者 | | 小中大

回 1楼(zzzcv) 的帖子

这炉丹是的，但用哪个炼丹炉都一样。建议线上租显卡训练，几块钱在线炼一次lora比折腾本地强多了。

顶端

zzzcv

B3F 2024-08-14 16:39

只看该作者 | | 小中大

我只炼过sd1.5的丹，素材中有r18的图，在线炼的话没事吗？顺便问下大佬有国内的交流渠道吗？想请教一些训练的问题

顶端

Ridley

B4F 2024-08-14 19:10

（交流群：https://discord.com/invite/3Jwx4MwKQe）

只看该作者 | | 小中大

回 3楼(zzzcv) 的帖子

这种东西还是在discord交流吧，国内可太刑了

顶端

昏黄华彩

B5F 2024-08-14 19:29

只看该作者 | | 小中大

邀请无效

顶端

Ridley

B6F 2024-08-14 19:58

（交流群：https://discord.com/invite/3Jwx4MwKQe）

只看该作者 | | 小中大

回 5楼(昏黄华彩) 的帖子

更新了，再试一次

顶端

歪比巴卜

B7F 2024-10-02 01:04

只看该作者 | | 小中大

顶端

漫区特设

蜜柑计划

综合交流

人民囧府

[lora模型训练] Pony模型多人lora训练

回 1楼(zzzcv) 的帖子

回 3楼(zzzcv) 的帖子

回 5楼(昏黄华彩) 的帖子