程序员经验分享-hwhale

stable diffusion实践操作-VAE

2023-11-08

系列文章总目录

stable diffusion实践操作

一、 前言

1 定义功能全局介绍

VAE，全名Variational autoenconder，中文叫变分自编码器。作用是：滤镜+微调 ，名字中带有vae，后缀ckpt,pt
有的大模型是会自带VAE的，比如我们常用的Chilloutmix。如果再加VAE则可能画面效果会适得其反 。

大部分底模有VAE，但是部分底模没有VAE，需要专门下载VAE才能使用。
最常用的VAE：vae-ft-mse-840000-ema-pruned
功能：用来饱和度和细节提升

色彩饱和度提高

图片细节增强

SD webUI位置

2 模型全局介绍

2.1 后缀以及存放位置

下载后存放地址：sd-webui-aki-v4.2\models\VAE

2.2 查看大模型是否有VAE

具体加不加VAE，需要详细看大模型说明，如果没有说明，那么就先不要加看看结果，如果结果比较灰蒙蒙的，那么就需要加。

二、正文

1 原理

首先贴出知乎文档，后期慢慢研究

1.1 基础原理

VAE其中包括了编码器和解码器，

在VAE的训练过程中，利用VAE的编码器对图片进行压缩，提取图片的潜在表征使得训练加速。

还原过程，将图片解压使其还原成一个清晰的图片：

SD将我们的文字集以及大模型的图像集，通过编码器（CLIP），转化成机器可以识别的代码，然后将这些代码迭代到符合我们描述的图像代码中，这些代码发送给了VAE进行解码，输出为图像。就这样SD通过我们的文字提示词，生成了基于大量图片训练的大模型的风格。

下面是一张比较严谨的流程

2 使用

2.1 增加饱和度

2.2 增加细节

3 下载

3.1 自动下载

3.2 手动下载

下载地址：（后期补充）
下载后存放地址：sd-webui-aki-v4.2\models\VAE

三 、总结

例如：以上就是今天要讲的内容，本文仅仅简单介绍了VAE的原理和使用。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

SD

stable diffusion

stable diffusion实践操作-VAE 的相关文章

  • 《Stable Diffusion WebUI折腾实录》在Windows完成安装, 从社区下载热门模型，批量生成小姐姐图片

    环境 操作系统 Windows11 显卡 RTX2060 6GB 显存 安装Python 下载 Python3 10 6 https www python org ftp python 3 10 6 python 3 10 6 amd64

  • Stable Diffusion：网页版 体验 / AI 绘图

    一 官网地址 Stable Diffusion Online 二 Stable Diffusion AI 能做什么 Stable Diffusion AI绘图是一种基于Stable Diffusion模型的生成式AI技术 能够生成各种类型的

  • Stable Diffusion中ControlNet和OpenPose的安装教程

    ControlNet 是一种神经网络结构 通过添加额外条件来控制扩散模型 它将神经网络块的权重复制到 锁定 副本和 可训练 副本中 可训练 的人会了解您的病情 锁定 的模型将保留您的模型 因此 使用图像对的小数据集进行训练不会破坏生产就绪的

  • 实践教程｜使用Stable Diffusion图像修复来生成自己的目标检测数据集

    作者丨R dig par Gabriel Guerin 来源丨AI公园 深度学习模型需要大量的数据才能得到很好的结果 目标检测模型也是一样 要训练一个YOLOv5的模型来自动检测你最喜欢的玩具 你需要拍几千张你的玩具在不同上下文中的照片 对

  • 浅谈【Stable-Diffusion WEBUI】(AI绘图)的基础和使用

    文章目录 零 AI绘图 一 简单介绍 1 1 Stable Diffusion 1 2 Stable Diffusion WEB UI 1 3 SD WebUI启动器和整合包 二 使用 2 1 启动 控制台 WEBUI 2 2 模型 2 2

  • 《Stable Diffusion web UI-Segment Anything未完待续01》

    最近每天晚上都在弄手指修复 但是都不理想 索性放在后面再写教程 今天中午花时间弄了一下Segment Anything 1 下载Segment Anything 点击拓展 从网址安装 安装 已安装 点击重启 2 点击这个项目红色框里面的 h

  • Stable Diffusion实现AI绘画，尝试向实际业务迈进...

    前置 由于处于学习初期 懂得较少以及可能会出现理解错误等情况 故而文章仅供参考学习使用 旨在分享知识 共同学习 不能作为依据 如有错误 感谢指出 文章主题分为两部分 学习部分也就理论知识 实践部分主要包括问题及解决方案 一 Stable D

  • StableDiffusion中LORA模型的使用

    目录 前言 一 LoRA是什么 二 使用方法 1 存放LORA模型 2 使用LORA模型 3 查看结果 总结 前言 1 Sampler 采样方式 在Stable Diffusion WebUI中的Sampling method中进行选择 2

  • Stable Diffusion服务环境搭建（远程服务版）

    Stable Diffusion服务环境搭建 远程服务版 Stable Diffusion是什么 Stable diffusion是一个基于Latent Diffusion Models 潜在扩散模型 LDMs 的文图生成 text to

  • Stable Diffusion使用方法

    SD的本地安装教程有很多我就不重复了 这里主要是记录我在使用SD Webui的过程中遇到的问题 总结的一些提升出图效率 出好图概率的经验 先搞几张看看效果 二次元妹妹 高达 Ok 以上只是一小部分成品 属于是抛砖引玉之作 我当时设置的参数出

  • stable diffusion webui 教程：安装与入门

    stable diffusion webui 安装与入门 原理简介 一 源码仓库 二 模型库地址 三 在 Windows 上自动安装步骤 安装Python 安装git 下载源代码 编辑 webui user bat 四 如何打开 五 依据文

  • Stable Diffusion安装教程、model导入教程以及精品promt指令

    文章目录 引言 原理 图片感知压缩 潜在扩散模型 安装 插件 插件与模型下载 常用promt关键字 交流讨论 引言 最近大火的AI作画吸引了很多人的目光 AI作画近期取得如此巨大进展的原因个人认为有很大的功劳归属于Stable Diffus

  • Stable Diffusion Prompt用法

    Stable Diffusion可以根据你输入的提示词 prompt 来绘制出想象中的画面 1 正向提示词 Prompt 提高图像质量的prompt prompt 用途 HDR UHD 64K HDR UHD 4K 8K和64K 这样的质量

  • Stable-Diffusion-WebUI从代码下载到使用技巧

    一 写在前面 本文用于对AI绘画感兴趣但无计算机编程基础的人 包含本人安装和使用过程中的心得 可供新学者参考 心理准备 电脑性能越高越好 最好有高端显卡 如30系以上 低端显卡也可以 速度和质量感人就是 会要求下载一些软件 模型 涉及环境变

  • Stable Diffusion 系列教程

    目录 1 提示词 基本的规则 2 提示词分类 2 1内容性提示词 2 2 画风艺术派提示词 2 3 画幅视角 2 4画质提示词 3 反向提示词 3 1 内容性反向提示词 3 2 画质性反向提示词 4 实例分析 5 权重 5 1 方法一 5

  • Stable Diffusion web UI 安装教程

    Stable Diffusion web UI 安装教程 欢迎来到猫说AI wx搜索 猫说AI接入了最新版Chatgpt供大家免费使用 注意 这是ubuntu20 04安装步骤 conda创建python虚拟环境 conda create

  • 轻松打造“文生图”神器！10分钟部署Stable Diffusion

    最近一年 扩散模型太火了 已经成为重要的生产力工具 在AI研究领域也不断有新的工作出现 成为产业界和学术界的热点 本文将在趋动云平台部署扩散模型中广受关注的stable diffusion webui项目 手把手教程 创建项目 首先创建项目

  • Stable Diffusion背后原理(Latent Diffusion Models)

    前言 2023年第一篇博客 大家新年好呀 这次来关注一下Stable Diffusion背后的原理 即 High Resolution Image Synthesis with Latent Diffusion Models 这篇论文 之前

  • 零基础入门 Stable Diffusion - 无需显卡把 AI 绘画引擎搬进家用电脑

    我从小特别羡慕会画画的伙伴 他们能够将心中的想法画出来 而我最高水平的肖像画是丁老头 但在接触 Stable Diffusion 之后 我感觉自己脱胎换骨 给自己贴上了 会画画 的新标签 丁老头进化旅程 Stable Diffusion 是

  • 手把手教你用 Stable Diffusion 写好提示词

    Stable Diffusion 技术把 AI 图像生成提高到了一个全新高度 文生图 Text to image 生成质量很大程度上取决于你的提示词 Prompt 好不好 前面文章写了一篇文章 一份保姆级的 Stable Diffusion

随机推荐

  • linux系统查看文件大小及使用空间大小

    1 查看 data test文件夹下所有文件大小之和命令 du h max depth 1 data test 2 查看 data test文件夹下所有文件大小明细 每个文件大小 命令 du h max depth 1 data test

  • 四路服务器选型项目,四路服务器详细

    四路服务器详细 内容精选 换一换 在待分析的服务器上安装节点 Web服务器 即安装鲲鹏性能分析工具的服务器 默认安装了节点 如果待分析的服务器与安装工具的服务器是同一个 请跳过该章节 已成功登录系统性能分析 待添加节点的服务器已配置操作系统

  • 17款最佳的代码审查工具

    好的代码审查器可以大大地帮助程序员提高代码质量 减少错误几率 虽然现在市场上有许多可用的代码审查工具 但如何挑选也是一个艰巨的任务 在咨询过有关专家的建议和意见之后 我们罗列出了以下17款最佳的代码审查工具 1 CodeStriker Co

  • Vue.js 条件渲染全解析

    注意标题是条件渲染而不是条件判断 Vue给v if这类条件判断属性取名叫条件渲染 这些属性的目的是判断要不要渲染这些元素 而不仅仅是所谓的判断 是否渲染才是最主要的功能 v if的使用 例如下面的代码 span里面可以显示message的信

  • 关于 Diffie-Hellman 组

    Diffie Hellman DH 组确定了在密钥交换进程中使用的密钥的强度 组的编号越大安全性就越高 但是也就需要更多的时间来计算密钥 WatchGuard 设备支持 Diffie Hellman 组 1 2 和 5 DH 组 1 768

  • PAT C 语言入门题目-7-60 删除重复字符 （20 分）

    7 60 删除重复字符 20 分 本题要求编写程序 将给定字符串去掉重复的字符后 按照字符ASCII码顺序从小到大排序后输出 输入格式 输入是一个以回车结束的非空字符串 少于80个字符 输出格式 输出去重排序后的结果字符串 输入样例 ad2

  • 06_列表渲染_1

    div h2 测试 v for 遍历数组 h2 ul li index p name li ul div

  • Linux多进程：zombie process——僵尸进程

    僵尸进程zombie process 子进程终止时 父进程尚未回收子进程残留的内核区资源 从而变成僵尸进程 僵尸进程不能被 kill 9 杀死 如果父进程不调用wait 或waitpid 的话 僵尸进程不会被处理 其pcb pid等资源一直

  • 英语二作文模板及范文

    文章目录 四大写作模板 辩证分析类 短文题目 二选一 模板 A OR B 范文 解决问题类 短文题目 提纲思路 写作模板 题目 范文 Fight against Haze 个人介绍类 短文题目 提纲思路 写作模板 范文 My Hobby 电

  • 在微信公众号里使用LaTeX数学公式

    quicklatex这个神器和它的wordpress插件QuickLaTeX 几乎完美支持和兼容Mathjax所支持的LaTeX数学公式 方法很简单 只要在wordpress中安装quicklatex 然后在文章的开头添加一个 latexp

  • b树和b+树的数据结构

    在B树中 你可以将键和值存放在内部节点和叶子节点 但在B 树中 内部节点都是键 没有值 叶子节点同时存放键和值 B 树的叶子节点有一条链相连 而B树的叶子节点各自独立 B树 普通的二叉树一个节点有一个元素 B树一个节点可以有多个元素 节点里

  • 进程调度：时间片轮转调度算法

    一 实验目的 1 加深对进程的理解 2 理解进程控制块的结构 3 理解进程运行的并发性 4 掌握时间片轮转法进程调度算法 二 实验原理 1 建立进程控制块 2 设计两个链队列 分别表示就绪队列和完成队列 3 用户输入进程标识符 进程到达时间

  • 以太坊系列 - 以太坊的测试网

    测试网简介 目前Ethereum存在三个测试网 分别是Ropsten PoW算法 支持Parity和Geth Kovan PoA算法 Parity专用 和Rinkeby Clique PoA共识算法 Geth专用 Ropsten PoW S

  • Python绘制LTspice仿真趋势图

    LTspice集成Python处理信号 首先 使用Python创建一个信号 然后 通过一个 LTspice 滤波器电路运行它 同时我们在 python 中控制一些滤波器的可调参数 最后 使用Python绘制结果 我们打开 LTspice 并

  • js 用正则去掉小数点后面多于的0（正则非捕获）

    const arr 1200 00100 1200 00000 1200 1200 1200 10000 0 120010000 0 000011111 const regexp 0 d 0 arr forEach item gt cons

  • 利用Sql Server代理中的作业实现数据库的自动备份

    1 在Sql server代理中新建作业 2 填写作业名称 3 新建步骤 4 填写步骤名称 选择类型为T Sql脚本 在命令中输入操作脚本 以数据库databaseA 为例 脚本内容如下 DECLARE filename VARCHAR 2

  • C++数组与指针的转换

    double aa 3 0 1 2 double p 获得某个返回值为double类型的指针 返回值这边 gt 3 aa 0 p 0 aa 1 p 1 aa 2 p 2 参考博客 C 数组 及二维数组 与指针 互转 遍历 数组与引用 匆忙拥

  • 文本信息关系抽取的方法

    3 2 关系抽取的方法 由于传统机器学习的关系抽取方法选择的特征向量依赖于人工完成 也需要大量领域专业知识 而深度学习的关系抽取方法通过训练大量数据自动获得模型 不需要人工提取特征 2006年Hinton 等人 Reducing the d

  • 类模板可变参的逐步展开

    类模板可变参的逐步展开 myclasst

  • stable diffusion实践操作-VAE

    系列文章总目录 stable diffusion实践操作 文章目录 系列文章总目录 一 前言 1 定义功能全局介绍 2 模型全局介绍 2 1 后缀以及存放位置 2 2 查看大模型是否有VAE 二 正文 1 原理 1 1 基础原理 2 使用

热门标签