Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装

2023-10-26

Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装

目录

Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装

一、简单介绍

二、ControlNet 插件下载安装

三、ControlNet 插件模型下载安装

四、ControlNet 插件其他的下载安装方式

五、ControlNet 插件模型名称说明


一、简单介绍

Stable Diffusion是一个文本到图像的潜在扩散模型,由CompVis、Stability AI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512x512图像进行训练。使用这个模型,可以生成包括人脸在内的任何图像,因为有开源的预训练模型,所以我们也可以在自己的机器上运行它,如下图所示。

Stable Diffusion 是一个AI 绘图软件 (开源模型),可本地部署,可切换多种模型,且新的模型和开源库每天都在更新发布,最重要的是免费,没有绘图次数限制。

Github 网址:GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
 

玩 Stable Diffusion,就一定要会玩 ControlNet,它是 Stable Diffusion 一个非常重要的扩展插件(sd-webui-controlnet),它不仅可以用来复制构图和人体姿势,还有其他很多强大的功能,要使用 ControlNet(sd-webui-controlnet),就必须先要学会怎么安装它。

ControlNet github 地址:https://github.com/lllyasviel/ControlNet

ControlNet-v1-1-nightly github 地址:https://github.com/lllyasviel/ControlNet-v1-1-nightly

sd-webui-controlnet
github 地址:https://github.com/Mikubill/sd-webui-controlnet

通过上面的方式,ControlNet 可以重用SD编码器作为一个深度,强,鲁棒和强大的骨干来学习不同的控制。许多证据(像这个和这个)验证了SD编码器是一个优秀的骨干。

注意,我们连接层的方式是计算效率高的。原始SD编码器不需要存储梯度(锁定的原始SD编码器块1234和Middle)。所需的GPU内存并不比原来的SD大多少,尽管增加了许多层。

所有的模型和检测器都可以从 our Hugging Face page下载。确保SD模型放在“ControlNet/models”中,检测器放在“ControlNet/annotator/ckpts”中。确保从 our Hugging Face page下载了所有必要的预训练权重和检测器模型,包括HED边缘检测模型、Midas深度估计模型、Openpose等等。

二、ControlNet 插件下载安装

1、运行 Stable Diffuse WebUI ,打开网页,找到扩展-可用-点击加载自,会出现很多可用的扩展插件

注意:这里可能需要魔法上网

2、“Ctrl+F” 搜索 ControlNet ,查找 ControlNet 插件,点击安装

3、安装好后,即可在扩展-已安装中找到 ControlNet 插件

4、ControlNet 插件勾选上,然后点击应用并重启用户界面,界面重启后,就可以看到 ControlNet 相关操作界面

5、在extensions 文件夹即可看到 ControlNet插件文件夹

三、ControlNet 插件模型下载安装

1、在 hugging face 找到 ControlNet 插件下载地址

ControlNet 插件模型网址:lllyasviel/ControlNet-v1-1 at main

2、模型名称的说明,有些模型可用和不可用,以及测试中

在下载的时候要注意文件名中"V11"后面的字母,p:表示可以使用e:表示还在试验中u:表示未完成,如果是文件名中的字母是e,就不要下载

3、模型还是较大的,根据自己需要酌情下载,这里以 canny 为例

注意:对应模型的.pth 和 .yaml 文件都要下载

4、下载好后的模型,放到之前安装好后的 ControlNet 插件文件夹

5、重启界面

6、对应的模型,就可以找到

7、自己去试试吧

四、ControlNet 插件其他的下载安装方式

1、可以在 Github 上拷贝 ControlNet 插件 的 git 地址,然后在 扩展-从网址安装 进行安装

ControlNet 插件 GitHub地址:https://github.com/Mikubill/sd-webui-controlnet

2、可以在 Github 上拷贝 ControlNet 插件 的 git 地址,然后在 git clone 进行安装

注意:在 xxxx\xxxx\stable-diffusion-webui\extensions 文件夹进行克隆

3、可以在 Github 下载 ControlNet 插件包,解压到  xxxx\xxxx\stable-diffusion-webui\extensions 文件夹下

五、ControlNet 插件模型名称说明

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装 的相关文章

随机推荐

  • uview ,uniapp 的UI组件

    文档 https www uviewui com components picker html
  • 高手勿进!写给初中级程序员以及还在大学修炼的“准程序员”的成长秘籍

    1 不要畏惧英文 互联网上很多优秀的技术资源和社区的内容都是英文 如果畏惧英文 就没办法从中汲取富有营养的知识 也没办法跟上技术的发展潮流 那么技术能力就会很难再上一层 技术的眼界就会受限 所以需要去突破语言这关 A 从改变语言环境开始 你
  • 【最详细附源码】R语言4.3.0全新安装教程

    软件下载 软件 R语言 版本 4 3 0 语言 简体中文 大小 77 74M 安装环境 Win7及以上版本 64位操作系统 硬件要求 CPU 2 0GHz 内存 4G 或更高 下载通道 百度网盘丨64位下载链接 https pan baid
  • springcloud整合Hystrix,实现接口服务降级

    利用Hystrix对接口control层进行服务降级 新建子工程service03 作为测试Hystrix服务降级的微服务 pom xml
  • nginx 之 proxy_pass详解

    在nginx中配置proxy pass代理转发时 如果在proxy pass后面的url加 表示绝对根路径 如果没有 表示相对路径 把匹配的路径部分也给代理走 假设下面四种情况分别用 http 192 168 1 1 proxy test
  • 工作十年的程序员,总结的前端面试题!

    1 常用那几种浏览器测试 有哪些内核 Layout Engine 1 浏览器 IE Chrome FireFox Safari Opera 2 内核 Trident Gecko Presto Webkit 2 说下行内元素和块级元素的区别
  • 贝叶斯网络结构学习约束的帕累托(pareto)最优

    约束 无非要考虑两件事 一是算法的结果准确率 二是算法的运行速度 约束算法的帕累托 pareto 最优就是指在保证算法准确性不降的前提下 使得算法的运行速度达到最快 就实现了帕累托最优 在已知贝叶斯网络标准结构的情况下对贝叶斯网络结构进行学
  • 人工智能之数学(概率方面)

    我们经常使用的统计机器学习算法 或者是神经网络模型中 数学作为最基础的根基 融合了高等数学中的微分学 概率 线性代数 凸优化等方面 每一个方面深入后都是有很多的益处 但是本着先实用 在进行学习的原则 所以主要是理解相关数学符号 理解统计学习
  • RocketMQ吐血总结

    RocketMQ吐血总结 架构 概念模型 最基本的概念模型与扩展后段概念模型 存储模型 RocketMQ吐血总结 User Guide RocketMQ是一款分布式消息中间件 最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统 满足线
  • 矩阵分解(1)-- 矩阵分解之LU、LDLT、Cholesky分解

    1 分类 矩阵分解 decomposition factorization 是多半将矩阵拆解为数个三角形矩阵 triangular matrix 依使用目的的不同 可分为几类 与线性方程解法相关的矩阵分解 LU分解 奇异值分解 QR分解 极
  • 使用Tmux的基本操作与后台运行命令

    文章目录 Tmux简介 Tmux安装 Tmux基本使用 Tmux后台运行程序 Tmux简介 Tmux是 终端复用器 经常看到这种说法 它是可以把一次会话中的命令记录下来的工具 会话 终端 命令 程序的关系是 终端 交互的工具 gt 会话 一
  • 初始化字典的6种方式

    查了这么多资料 我就选取几个最常见的初始化字典的方法来说明一下吧 1 最直观 最易懂的 dic1 1years 1 2years 2 3years 3 4years 4 5years 5 2 dic2 dict t 1 p 2 注意 其中等
  • Sqli-labs靶场笔记5(Less8 布尔型注入)

    Less8跟之前的Less5 Less6一样 也可以用布尔型注入来做 我们简单的测试就可以知道闭合方式也是 所以关于原理部分就不写了 有疑惑的可以直接看我前面的博客 下面直接给出具体payload 报数据库名 id 1 and substr
  • 武邑中学2021高考成绩查询,武邑中学高考成绩

    问 衡水武邑中学怎么样 答 收费2 3万 大前年中考400多分的进衡水二中的去年高考600多分 而中考400多分去武中的去年高考300分都不到 这可是有名有姓的真人的真实情况 光复习生每年就60多个班 应届考生30多个班 每年六七千人都抬不
  • 箭头函数()=>{}与function的区别

    1 箭头函数与function定义函数的写法 function function fn a b return a b arrow function var foo a b gt return a b 2 this的指向 使用function
  • uni-app开发总结分享

    目录 一 uni app介绍 二 uni app和vue的具体区别 1 组件 标签的变化 2 js 3 uniapp自带路由和请求方式 三 环境搭建 1 安装HbuilderX 2 创建uni app项目 四 项目目录结构 五 运行uni
  • 安装mysql提示3306端口已经被占用解决方案

    今天遇到的问题是这样的 之前已经安装过mysql了 一直用的好好的 但是今天开启服务时报异常 无法启动 为了省事 于是想到卸载重装 在安装的过程中发现3306已经被占用 这也是一开始服务无法启动的原因 看到有人说用fport查看端口号 于是
  • JSP学生网上选课系统设计(源代码+论文+答辩PPT)

    QQ 19966519194 摘要 随着科学技术的不断提高 计算机科学日渐成熟 其强大的功能已为人们深刻认识 它已进入人类社会的各个领域并发挥着越来越重要的作用 学生选课系统作为一种现代化的教学技术 以越来越受到人民的重视 是一个学校不可缺
  • [Unity][ShaderGraph][FlowCanvas] SetFloat 无效:通过脚本控制 shader 的动态参数时需要使用参数的引用名

    我的 shader 很简单 就是一个 tiling and offset 制作滚动效果 然后我想用一个脚本控制 speed 但是实际运行没有起效果 一开始我看的这个 然后用的 sharedmaterial https forum unity
  • Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装

    Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装 目录 Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装 一 简单介绍 二 ControlNet 插