lora人物训练

2023-10-27

准备好训练的图片,尺寸根据你显卡显存的大小,默认的图片尺寸大小为512×512,显卡显存小于8G的,建议使默认尺寸,如果你的显卡显存可以满足12g或12g以上,推荐使用768×768的图片来训练我们的模型,用大尺寸训练后的模型可以适当减少生成宽图出现的肢体叠加等效果,下面开始准备我们的图片吧。

一.图片要求

  1. 至少15张图片,每张图片的训练步数不少于100
  2. 照片人像要求多角度,特别是脸部特写(尽量高分辨率),多角度,多表情,不同灯光效果,不同姿势等
  3. 图片构图尽量简单,避免复杂的其他因素干扰
  4. 可以单张脸部特写+单张服装按比例组成的一组照片(这里比例是3:1)
  5. 减少重复或高度相似的图片,避免造成过拟合

二.图片处理

  1. 裁剪你的照片成768×768(我这里是用了768×768)的比例,裁剪照片可以到birme站点裁剪后批量下载,或者利用picpick软件自己裁剪后期用python脚本批量改名和批量二次裁剪。
  2. 准备图片解析词,用stable diffusion 图片预处理模块preprocess image进行图片解析,注意图片尺寸修改为我们裁剪后的图片尺寸图片解析使用BLIP,图片少于15张建议勾选create Flipped copies选项。
  3. (可选)编辑我们生成好的解析词文件,加入我们的关键人物tag,如果是服饰图片,可以给服饰加上我们自定义的tag用于区分服饰,相同的发型也可以打上发型的自定义tag,后面使用该lora模型可以加上服饰或发型部分的tag用于生成对应要求的图像,这里图片解析词我们可以使用kohay_ss的Utilities下的Captioning批量给我们处理后的解析词文件增加对应的角色tag服饰tag,或者利用软件

BooruDatasetTagManager​github.com/starik222/BooruDatasetTagManager/releases/download/v1.5.1/BooruDatasetTagManager.v1.5.1.zip

批量增加我们的tag,推荐使用BooruDatasetTagManager,可以自己选中多张图加入我们要的tag,人物我们可以增量加入常用的tag如face,nose,lips,hairstyle,eyes,ears,forehead,breast等。

三.开始训练

  1. 准备好kohay_ss GUI训练工具(这里使用拓展的训练工具)并成功启动
  2. 建立训练所需的三个文件夹image,model,log三个文件夹,然后在image目录下新建一个文件夹,文件夹命名符合以下规则形(数字_角色关键词)136_zoogygh
  3. 数字部分取(1500除以图片数量和100的最大值),每张图片训练步数起步最低100
  4. 加载基础的训练配置文件,这里网上有整理了针对基础配置和低显存配置的两个默认的训练配置文件,我们加载进来后,默认基于stable diffusion1.5的模型训练的,这里看个人需求,可以选择custom后加载自己的模型文件
  5. 把我们预处理后的图片拷贝到数字_关键词的目录下面,然后开始设置我们刚刚定义好的三个文件夹目录位置,注意image文件目录不需要选择到我们的图片,直接到image这层路径就好了
  6. 微调我们的训练参数
  7. 开始训练

四.模型使用

1.训练完后会在我们刚刚定义的model目录下生成一个lora模型文件,我们将他拷贝到stable diffusion的model目录下的lora文件夹

2.安装lora加载插件,安装后可以在图生图的快捷区域调出我们的模型文件,复制一段提词后,点击我们的lora模型,在正面提词里修改我们的lora模型权重,或者加上服饰tag,开始抽卡

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

lora人物训练 的相关文章

随机推荐

  • AES与DES加密解密算法

    一 AES简介 AES Advanced Encryption Standard 高级加密标准 的出现 是因为以前使用的DES算法密钥长度较短 已经不适应当今数据加密安 全性的要求 因此2000年10月2日 美国政府宣布将比利时密码学家Jo
  • 循环链表的作用

    作用是循环链表是无须增加存储量 仅对表的链接方式稍作改变 即可使得表处理更加方便灵活 循环链表中没有NULL指针 涉及遍历操作时 其终止条件就不再是像非循环链表那样判别p或p next是否为空 而是判别它们是否等于某一指定指针 如头指针或尾
  • Vijava 学习笔记之 VirtualMachine(状态(通电状态))

    package com vmware util import com vmware vim25 mo ServiceInstance import java net URL Created by vixuan 008 on 2015 4 1
  • ubuntu安装新版QQ

    我一直无法解决Ubuntu QQ问题 而最近我重装ubuntu之后在网络上找到与QQ相关的内容 网上有大神开发出了新版的wineQQ 解决了我们对QQ的需求 经过尝试 完成了QQ安装 如图 安装的是wine QQ 那么 1 首先安装wine
  • Ubuntu20.04安装Xmind

    安装思维导图软件MindMaster 安装 安装包下载地址https www edrawsoft cn download mindmaster all 找到Linux下的Ubuntu版本 并点击下载安装包 如下图 是我下载时选择的版本 然后
  • inner class java_Java内部类(Inner Class)详解

    Java内部类 Inner Class 详解 简单的说 内部 inner 类指那些类定义代码被置于其它类定义中的类 而对于一般的 类定义代码不嵌套在其它类定义中的类 称为顶层 top level 类 对于一个内部类 包含其定义代码的类称为它
  • html5随机颜色怎么写,js随机颜色代码的多种实现方式

    JS随机颜色有很多地方要用到 比如大家看到很多标签连接都是五颜六色 那就需要到这个了 下面开始 方法思路总共有二 一是准备一组漂亮的候选颜色 二是随机生成颜色 实现1 var getRandomColor function return f
  • java加密算法之DES篇

    闲话不多说 我们直接上干货 加密 public static String encrypt String datasource try DESKeySpec desKey new DESKeySpec PASSWORD getBytes 创
  • 关于type_info总结

    c 没有反射机制 我们可以经由过程c 的说话特点去实现同样的功能 本文介绍应用type info实现的一些发射特点 1 type info简介 class type info public CRTIMP virtual type info
  • 2003文件服务器配置,win2003文件服务器配置

    win2003文件服务器配置 内容精选 换一换 该操作只在跨AZ部署HA场景下才需要执行 EVS无法实现跨AZ磁盘共享 所以在跨AZ部署HA场景中 需要规划三台弹性云服务器 在每台云服务器上各绑定一块SCSI盘并配置iSCSI用作SBD S
  • 知网查论文时怎么筛选核心期刊?

    在知网检索论文时不知道如何筛选出核心期刊进行查看 解决方法如下图
  • 【数据结构】Stack 栈

    数据结构源码 接口 public interface Stack
  • hisi3521叠加OSD水印

    freetype下载安装 下载 https download savannah gnu org releases freetype 解压 tar xvf freetype 2 4 10 tar gz 进入freetype文件目录 cd fr
  • 编译原理三大经典书籍(龙书 虎书 鲸书)

    1 龙书 Dragon book 英文名 Compilers Principles Techniques and Tools 作者 Alfred V Aho Ravi Sethi Jeffrey D Ullman 中文名 编译原理技术和工具
  • 谐振电路 - 01 介绍

    1 定义 对于包含电容和电感及电阻元件的无源一端口网络 其端口可能呈现容性 感性及电阻性 当电路端口的电压U和电流I 出现同相位 电路呈电阻性时 称之为谐振现象 这样的电路 称之为谐振电路 缩写是 LLC 谐振电路的本质是电容中的电场能与电
  • panosim引入新python库提示——SyntaxError: future feature annotations is not defined

    标题错误原因 根本原因是python的版本冲突 高版本python的下载的库给低版本用 背景 panosim自带python为3 6 引入新库的方式为 将其他python版本下载的库放到 Lib site packages下 我用cmd终端
  • 自学黑客(网络安全),一般人我劝你还是算了吧

    一 自学网络安全学习的误区和陷阱 1 不要试图先成为一名程序员 以编程为基础的学习 再开始学习 我在之前的回答中 我都一再强调不要以编程为基础再开始学习网络安全 一般来说 学习编程不但学习周期长 而且实际向安全过渡后可用到的关键知识并不多
  • 解决 WebStorm 很卡的问题

    1 打开安装WebStorm的位置 找到WebStorm exe vmoptions文件 我的文件位置 2 设置 一般最大的设置为1G已经够了 我原来的设置是7百多 Xmx1024m Xms526m 3 如果还不行 再忽略项目中的node
  • Twins:重新思考视觉Transformer中的空间注意力机制

    点击下方卡片 关注 CVer 公众号 AI CV重磅干货 第一时间送达 Twins Revisiting the Design of Spatial Attention inVision Transformers 单位 美团 阿德莱德大学
  • lora人物训练

    准备好训练的图片 尺寸根据你显卡显存的大小 默认的图片尺寸大小为512 512 显卡显存小于8G的 建议使默认尺寸 如果你的显卡显存可以满足12g或12g以上 推荐使用768 768的图片来训练我们的模型 用大尺寸训练后的模型可以适当减少生