- 下载图片
- 复制图片
AIRIG-舒克（商务找我）
管理员
SD框架下 LORA 训练教程1-学习率U-Net和 Text Encoder详解:
学习率是控制 LORA 在 SDXL 模型中“学习快慢”的关键超参，需分别为 U-Net(画图部分)和 Text Encoder(语义理解部分)设定不同的值。根据素材集规模，U-Net学习率从 3e-6(10张)到 2e-4(>3000 张)逐步提高，Text Encoder 则从5e-7上升到 3e-5。训练总步数也应随数据量增长而增加(约800->10000步)，并配台3%-5%的warmup 预热，让学习曲线“先升后衰”更平滑。小数据集需适当降低学习率、增加正则与梯度裁剪，大规模训练则可适当加大学习率并辅以 early-stopping、dropout 等策略，以兼顾收敛速度与生成质量。
【如果你有疑惑，欢迎在下面评论留言。】
【我们欢迎你的转发或分享，这会让频道更加活跃，感谢你的认可与支持。】
学习率是控制 LORA 在 SDXL 模型中“学习快慢”的关键超参，需分别为 U-Net(画图部分)和 Text Encoder(语义理解部分)设定不同的值。根据素材集规模，U-Net学习率从 3e-6(10张)到 2e-4(>3000 张)逐步提高，Text Encoder 则从5e-7上升到 3e-5。训练总步数也应随数据量增长而增加(约800->10000步)，并配台3%-5%的warmup 预热，让学习曲线“先升后衰”更平滑。小数据集需适当降低学习率、增加正则与梯度裁剪，大规模训练则可适当加大学习率并辅以 early-stopping、dropout 等策略，以兼顾收敛速度与生成质量。
【如果你有疑惑，欢迎在下面评论留言。】
【我们欢迎你的转发或分享，这会让频道更加活跃，感谢你的认可与支持。】
2025-05-08
浏览439
技术分享
登录后评论
5
4
3