stable diffusion实践操作-embedding(TEXTUAL INVERSION)

2023-11-06

系列文章目录

本文专门开一节写图生图相关的内容,在看之前,可以同步关注:
stable diffusion实践操作



前言

textualinversion 中文名为文本反转,可以理解为提示词的集合,提示词打包,可以省略大量的提示词。后缀safetensors,大小几十kb

本文根据B站A_Eye视频而来,需要看原视频的,可以进入:
Stable diffusion喂饭级基础教程 第九期 什么是embedding


1、embeddding的功能

可以理解为提示词的集合,可以省略大量的提示词。

下面是一篇关于embeddding的权威论文,感兴趣的小伙伴可以自己去看

我总结一下,举个例子,希望左图生成右图,那么对于左面的模型来说,右边的图是个新的概念,然而在一个大模型中,引入新的概念是很困难的,如果为了这个新的图片而重新训练模型,成本就太高了。

所以论文作者提出了一个新的想法,就是在文本编码器的嵌入空间中,找到新的伪装词,通过这个伪装词,去捕获高级语义和精细的视觉细节

换句话说,就是采用少量有图的文本,训练出一个新的反转文本,这个反转文本可以在生成图片的时候,可以嵌入到大模型的词汇库中,让左边模型学习到了右边图片的概念,从而生成带有右边特征的图片。
这样就可以使用语言文本,将新的特征注入到模型当中,训练成本低,使用方便,并且体积很小,唯一缺点是很难进行精确学习,但是对于普通人来说已经足够了。

2、如何去下载(https://civitai.com/models)

2.1 筛选 TEXTUAL INVERSION

2.2 筛选出来

2.3 下载保存

在C站可以下载:https://civitai.com
下载后存放地址:sd-webui-aki-v4.2\embeddings

2.4 如何使用

没有触发词,直接使用名称就可以了。注意得到是不要把负向embedding放到正向提示词中去了。


2.5 增加权重

## 3、embedding 收集的模型

3.1 badhandv4 - AnimeIllustDiffusion

此文本嵌入为负面文本嵌入。它能够在对画风影响较小的前提下改善AI生成图片的手部细节。如果它让你的模型表现得比以前更糟,请勿使用它。您可与其他负面文本嵌入一同使用。

如果你想使用效果更强的版本,请移步:NegativeEmbedding - AnimeIllustDiffusion | Stable Diffusion TextualInversion | Civitai。这是一个用于修理各种各样画质和畸形问题的负面pt。他效果强劲,但更可能会破坏您原本的风格,且占用大量词元数(使用它时,其实您也不需要再使用很多负面提示词)。

虽然它是为 AnimeIllustDiffusion 模型设计的,但您也可以在其他模型上使用。

另外,我发现它在较高的提示词相关性下(>=11)表现的更好。

使用方法
您应该将下载得到的负面文本嵌入文件,即 badhandv4.pt 文件放置在您 stable diffusion 目录下的 embeddings 文件夹内。之后,您只需要在填写负面提示词处输入 badhandv4 即可。

3.2 bad_prompt Negative Embedding

使用同上。

3.3 人物形象类的(Corneos D.va)

### 3.4 特定动作(AwaitingTongue Embedding) ### 3.5 Winter Style 冬日画风

3.6 ng_deepnegative_v1_75t

3.7 DeepNegativeV1.x

触发器:ng_deepnegative_v1_75t,ng_deepnegative_v1_75t

总结

以上就是今天要讲的内容。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

stable diffusion实践操作-embedding(TEXTUAL INVERSION) 的相关文章

  • 【Stable Diffusion】安装过程中常见报错解决方法

    转自 https openai wiki stable diffusion error html 如何查看报错 在你安装时可能经常遇到各种各样的问题 但是对于一堆陌生的英文和各种各样的错误 大家可能经常无从下手 下面我将会教大家如何查看报错
  • Stable-diffusion支持Intel和AMD显卡加速出图的操作方法

    英伟达的显卡有CUDA加持Stable diffusion出图很快 但我无奈家徒四壁 只有AMD老显卡苦苦支撑着本不富裕的家庭 但是生活还是继续不是 来吧 兄弟 看看老显卡能不能加速出图就完事了 说明 我在MacOs上操作成功 同时我也加了
  • 前端API接口的调用

    一 开启API接口 首先我们把模型部署在自己的服务器上之后开启模型的接口 linux环境下 进入模型文件 输入命令行 bash webui sh listen api 实现api接口的开启 我们获得一个api接口的地址 二 API接口调用并
  • Stable Diffusion安装教程、model导入教程以及精品promt指令

    文章目录 引言 原理 图片感知压缩 潜在扩散模型 安装 插件 插件与模型下载 常用promt关键字 交流讨论 引言 最近大火的AI作画吸引了很多人的目光 AI作画近期取得如此巨大进展的原因个人认为有很大的功劳归属于Stable Diffus
  • 【Kaggle】Stable Diffusion - Image to Prompts竞赛代码初步理解

    文章目录 一 前言 二 导包 三 加载预训练的 OFA 模型 四 模型EDA 五 Inference 六 安装并导入所有依赖项 七 设置配置 八 加载示例提交 九 Build index from images 十 CLIP interro
  • AI绘画Stable Diffusion原理之扩散模型DDPM

    前言 传送门 stable diffusion Git 论文 stable diffusion webui Git Google Colab Notebook部署stable diffusion webui Git kaggle Noteb
  • 使用Stable Diffusion图像修复来生成自己的目标检测数据集

    点击上方 AI公园 关注公众号 选择加 星标 或 置顶 作者 R dig par Gabriel Guerin 编译 ronghuaiyang 导读 有些情况下 收集各种场景下的数据很困难 本文给出了一种方法 深度学习模型需要大量的数据才能
  • 【2023版】最新stable diffusion安装教程,一键安装,永久使用,stable diffusion下载安装教程!

    关于现在非常红火的AI绘画 很多感兴趣的人不知道如何入手 如果你的电脑配置足够好 那么不要犹豫 让我来教你如何在本地电脑全免费运行当下最强大的AI绘画工具 Stable Diffusion 吧 一 Stable Diffusion 是什么
  • 在哪里可以获得 BERT 的预训练词嵌入?

    我知道 BERT 的总词汇量为 30522 其中包含一些单词和子词 我想获得 BERT 的初始输入嵌入 所以 我的要求是获得尺寸表 30522 768 我可以通过 token id 进行索引来获取其嵌入 我在哪里可以得到这张桌子 BertM
  • 如何将应用程序窗口托管为属于另一个进程的窗口的子窗口?

    我想将一个应用程序窗口从进程 A 托管到进程 B 的主窗口中 就像 A 的窗口是 MDI 子窗口一样 这在 Windows 中可能吗 还是有一些技巧可以让我伪造这个 顺便说一句 当 A 窗口嵌入到 B 窗口中时 我想删除 A 窗口的标题栏
  • 使用 word2vec 嵌入句子

    我想比较不同句子中提到的相同单词的差异 例如 旅行 我想做的是 将提及 旅行 一词的句子视为纯文本 在每个句子中 将 旅行 替换为travel sent x 在这些句子上训练 word2vec 模型 计算 Travel sent1 trav
  • 预加载 @font-face 字体?

    是否可以在页面加载之前预加载或以其他方式缓存 font face字体 最有可能使用javascript 这样当页面最终加载时就不会出现丑陋的跳转 2017年以来你有preload https developer mozilla org en
  • 手把手教你用 Stable Diffusion 写好提示词

    Stable Diffusion 技术把 AI 图像生成提高到了一个全新高度 文生图 Text to image 生成质量很大程度上取决于你的提示词 Prompt 好不好 前面文章写了一篇文章 一份保姆级的 Stable Diffusion
  • 来自张量流的 tf.contrib.layers.embedding_column

    我正在学习张量流教程张量流 https www tensorflow org versions r0 10 tutorials wide and deep index html tensorflow wide deep learning t
  • Go 中创建复杂结构层次结构的惯用方法是什么?

    我正在用 Go 编写一个解释器 并且正在寻找存储 AST 的惯用方式 我阅读了 Go 编译器源代码 似乎他们使用带有空方法的接口来表示 AST 例如 我们有以下层次结构 Object Immovable Building Mountain
  • Golang 嵌入结构类型

    我有这些类型 type Value interface type NamedValue struct Name string Value Value type ErrorValue struct NamedValue Error error
  • 在 Vaadin Flow 中,如何将我的 Vaadin 页面嵌入到另一个网页中?

    我有一个现有的应用程序 用 WebGuiToolkit org 编写 我正在尝试在其中嵌入 Vaadin Flow 页面 我看过 Vaadin 8 的几个指南 例如 https vaadin com learn training embed
  • 如何将 Lua 嵌入到 Python 3.x 中?

    是否可以将 Lua 嵌入到 Python 3 x 中 如果是这样 我如何在我的 Python 程序中运行和执行 Lua 脚本 语言之间的交互有多好 例如 Lua 是否可以访问 Python 的所有变量和类以及 Python 是否可以访问 L
  • 如何在 Angular 模板中嵌入 GitHub gist?

    角度忽略script其模板中包含标签 但加载 GitHub gist 需要它们 执行此操作的最佳做 法是什么 使用iframe 创造script动态标记 或者是其他东西 一种方法是创建一个iframe with script里面并在你希望你
  • 将二进制图像划分为像素数据“块”

    我使用 Python 和 PIL 作为在二进制图像中嵌入数据的工作的一部分 并且需要分析像素组以确定要操作的适当像素 以便嵌入数据 图像需要被分割成相等的像素数据 块 以供分析 但我正在努力想出一种适当的方法来做到这一点 我尝试过使用 Py

随机推荐

  • 最大权闭合子图(最小割)

    最大权闭合子图 最大流最小割 参考资料 1 最大权闭合子图 权闭合子图 存在一个图的子图 使得子图中的所有点出度指向的点依旧在这个子图内 则此子图是闭合子图 在这个图中有8个闭合子图 3 4 2 4 3 4 1 3 4 2 3 4 1 2
  • Qt绘图QGraphicsView、QGraphicsScene、QGraphicsItem简述

    Qt绘图中 QGraphicsView QGraphicsScene QGraphicsItem三者之间密不可分 以下简单介绍三者之间关系 三者之间关系 如同绘画的过程 Qt绘图中 QGraphicsView的作用相当于画板 QGraphi
  • linux 使用笔记

    1 查看使用的所有端口 netstat ntlp 2 查找文件路径 locate 文件名 如 find 文件名 如 find home 3 Linux下查看和停止所有java进程 在Linux下查看所有java进程命令 ps ef grep
  • 摄像机跟踪主角第三人称的视角

    using UnityEngine using System Collections public class FollowFarget MonoBehaviour public Transform PlayerTransfrom 定义一个
  • Unity 性能优化五:渲染模块压力

    CPU压力 Batching 在GPU渲染前 CPU会把数据按batch发送给GPU 每发送一次 都是一个drawcall GPU在渲染每个batch的时候 会切换渲染状态 这里的渲染状态指的是 影响对象在屏幕上的外观的渲染属性或材质 比如
  • OpenCV自适应阈值化函数adaptiveThreshold

    图像阈值化的一般目的是从灰度图像中分享目标区域和背景区域 然而仅仅通过设定固定阈值很难达到理想的分割效果 在实际应用中 我们可以通过某个像素的邻域以某种方法确定这个像素应该具有的阈值 进而保证图像中各个像素的阈值会随着周期围邻域块的变化而变
  • EasyExcel的简单导出

    EasyExcel的简单导出 Controller层代码 GetMapping download public void download String name HttpServletResponse response fileManag
  • 5、安全理论与框架-企业架构模型(EA)-业务组件模型(IBM CBM)

    一 背景 CBM component business model 组件化业务模型或叫业务组件模型 是IBM在2003年提出的 当时的大背景 公司内 外专业化 CBM是IBM做业务架构的一个重要方法论 就是把业务描述成一个个独立的小块 我们
  • 面试题一:前端去重方法汇总你知道多少?

    题记 我们项目中有很多的业务是需要去重的 那么下面是常用的一些去重的一些方法 用indexOf方法去重 新建一个空数组 遍历需要去重的数组 将数组元素存入新数组中 存放前判断数组中是否已经含有当前元素 没有则存入 此方法也无法对NaN去重
  • 上采样,下采样,过采样,欠采样的区别

    上下是方法 过欠是现象 上采样 upsampling 应该就是内插 补零滤波 下采样 downsampling 应该就是抽取 过采样就是采样频率大于两倍的信号最高频率 欠采样就是采样频率小于两倍的信号最高频率 欠采样失真仅仅是对基带信号而言
  • 源码编译llvm Error 记录

    cmake G Unix Makefiles llvm DLLVM ENABLE PROJECTS bolt clang clang tools extra compiler rt cross project tests libclc l
  • OceanBase:编译、安装和配置手册

    概述 OceanBase是 一个高性能的分布式表格系统 提供类似BigTable的性能和扩展性 但表格中保存的是强类型的数据 比如integer string datetime等 它使用C 编写 运行于64位Linux环境下 生产环境下需要
  • Ubuntu20.04编译安装opencv3.2和opencv_contrib-3.2

    图像特征提取中需要用到SIFT等算法 因此不得不安装从源码编译安装opencv contrib 网上有很多教程 但是在不同的环境下多少会出现一些错误 针对Ubuntu20 04 gcc 7环境下对opencv opencv contrib编
  • ios内嵌h5点击输入框页面放大

    首先咱们这个是基于修改meta没卵用的情况 去修改这个input的style把font size改成16px 我的机型是xr 自己用了反正有效 希望对你有帮助
  • 实战:tomcat版本升级

    tomcat版本升级 由原来的apache tomcat 7 0 96升级到apache tomcat 7 0 109 版本 1 先把原来的备份 mv apache tomcat 7 0 96 1 apache tomcat 7 0 96
  • 01-Kafaka

    1 Kafka 2 的安装与配置 1 上传kafka 2 12 1 0 2 tgz到服务器并解压 tar zxf kafka 2 12 1 0 2 tgz C opt 2 配置环境变量并更新 编辑profile配置文件 vim etc pr
  • 春招大厂面试升级笔记!光CRUD已经不能满足了

    大厂的面试已经升级 早就不满足于CRUD了 今天给大家分享的就是大厂最近升级的面试小 炒 全篇共计为大家详细划分了19个部分 字数超过了20W字 面试题数量超过了1500道 同时结合了大量的实例和代码 涵盖了 Java基础 并发编程 JVM
  • python中sort()和sorted()排序函数用法详解

    python中对数据的排序主要使用sort 和sorted 方法 1 sort 方法 语法结构 列表序列 sort key None reverse False 注意 reverse 表示排序规则 reverse True 降序 rever
  • typora插件_Typora + PicGo 编写博客的神器

    一 软件版本要求 typora 0 9 93 使用最新版本即可 下载链接 https www typora io PicGo 2 2 0以上 也是最好用最新版的 下载链接 https github com Molunerfinn PicGo
  • stable diffusion实践操作-embedding(TEXTUAL INVERSION)

    系列文章目录 本文专门开一节写图生图相关的内容 在看之前 可以同步关注 stable diffusion实践操作 文章目录 系列文章目录 前言 1 embeddding的功能 2 如何去下载 https civitai com models