stable diffusion实践操作-Controlnet

2023-11-03

本文专门开一节写提示词相关的内容,在看之前,可以同步关注:
stable diffusion实践操作



前言

为什么ControlNet 会引发如此大的轰动呢?
因为在这之前,基于扩散模型的AI绘画是非常难以控制的,去扩散这张图片的过程充满随机性,如果只是使用它来自娱自乐,那这种随机性并不会给你带来很大的困扰,画出来的内容和你预想中的有一点偏差也可以让自己接受,但是一些面对具体需求的图片就很难了,如果只能依赖抽卡式的反复尝试来得到你想要的东西,那么肯定不行。
ControlNet就初步解决了这中问题,它的定位是对大模型做微调的网络。
控制网的核心作用是基于一些额外输入给它的信息来给扩散模型的生成提供明确的指引。
比如姿势,面部表情。

本章主要参考B站视频:
视频入口:入口


1、ControlNet是什么?

通俗点来说,如果要画一幅画,一方面是构图,一方面是风格。之前大家都听说过现在AI绘画就是炼丹对吧?其实炼的是什么呢?说白了还是通过各种咒语来控制画面的构图和风格。

大家应该也知道这个咒语很烦是吧?其实这种所谓咒语在我看来就是反人类的,AI本来就应该是降低门槛而不是抬高门槛的,随着AI技术这日新月异的发展,这种咒语未来肯定是被淘汰掉的。其实现在已经有了两大利器,就是来解决这个问题的:ControlNet就是用来控制构图的,LoRA就是用来控制风格的 。不过针对这句话有一点补充:ControlNet框架太厉害了,感觉逐渐会无所不能;目前已经出了一个很厉害的风格迁移的模型shuffle,后文会详细介绍。

那ControlNet是怎么控制构图呢?技术原理我就不介绍了,简单来说,就是你手上已经有一副图了,基于这个图你去创造出新的图。那么这个图有两种来源:
1、你很有才,你自己画了一幅手稿图。但是后期修图太费劲,你想交给AI去做后面的美化的事情;
2、你不是那么有才(譬如我),然后正好手边有那么一幅现成的图,想照着那个样子去改改。
那么这就是ControlNet做的事情:通过你手上已有的图而不是咒语,实现对AI绘图的控制。

可能你比较细致,会追着问,不是总体有两步么,那我是不是还得学习LoRA来学习控制风格啊?嗯,LoRA么,有最好,没有的话,现在的一些基础大模型也够用了(毕竟只用SD1.5也是能生成一些不错的图的,只是不好控制而已),不妨碍我们只用ControlNet就可以画出非常好的效果。你可以理解为LoRA是锦上添花。

2.常用的模型

3.基本操作 openpose_full

1.提示词

正向提示词

(sfw:1.2),absurdres,1girl,ocean,white shirt,sun hat,smile,full body,

反向提示词

nsfwolf,(worst quality,:1.2),(low low quality,:1.2),(lowres,:1.1),EasyNegative badhandv4,

ControlNet设置

生成结果,可是看到,姿势被完全控制了

2.参数-控制效果参数

在这里插入图片描述

4.基本操作 depth场景的描绘还原 人物 + 场景

预处理器和模型必须一致

5. Caning 边缘检测算法-

黑色是背景,白色是线条

6.soft edge 和Canny类似

7.scribble 涂鸦

在这里插入图片描述

4.多重控制网络

多个模型一起控制使用

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

stable diffusion实践操作-Controlnet 的相关文章

  • 【Stable Diffusion】lora的基础使用技巧

    1 用lora配套的大模型效果更好 lora训练是根据大模型作为参考 lora是根据那个大模型来训练参数的 例如 这里以墨心lora为例 点击示例图片的中的 在Model中就显示出了作者用于训练墨心lora的底模了 2 最好使用和作者相同的
  • Cartoon头像 InsCode Stable Diffusion 美图活动一期

    一 简单介绍和活动地址 简单介绍 试用Stable Diffusion 模型生成优质人物好图 更简单地炼丹 InsCode是一个集成了在线IDE 在线AI编程 在线算力租赁 在线项目部署以及在线SD 模型使用的综合代码开发平台 不论你是初级
  • 实践教程|使用Stable Diffusion图像修复来生成自己的目标检测数据集

    作者丨R dig par Gabriel Guerin 来源丨AI公园 深度学习模型需要大量的数据才能得到很好的结果 目标检测模型也是一样 要训练一个YOLOv5的模型来自动检测你最喜欢的玩具 你需要拍几千张你的玩具在不同上下文中的照片 对
  • 发现【Stable-Diffusion WEBUI】的插件:不健康内容过滤器

    文章目录 零 前言 一 不健康内容过滤器 NSFW Sensor 零 前言 本篇主要提到了WEBUI的不健康内容过滤插件 它宁可错杀一千也不放过一个 可以有效避免有害内容 更多不断丰富的内容参考 继续Stable Diffusion WEB
  • 【AI画画教程】无整合包使用LoRA和Dreambooth训练全流程详解(Linux)

    前言 本教程遵循简单原则 不使用任何民间整合包 目前很多AI画画训练整合包臃肿复杂 教程也是名词乱炖 容易对初学者造成理解误差和使用困难 因为许多整合包都依赖于sd scripts库 它自身就能支持绝大多数的训练场景 学会这个后 自己也可以
  • 一)Stable Diffusion使用教程:安装

    目前AI绘画最火的当属Midjorney和Stable Diffusion 但是由于Midjourney没有开源 因此我们主要分享下Stable Diffusion 后面有望补上Midjourney教程 本节主要讲解Stable Diffu
  • AI绘画StableDiffusion美女实操教程:斗破苍穹-小医仙-天毒女(附高清图下载)

    小医仙 是天蚕土豆所著玄幻小说 斗破苍穹 1 及其衍生作品中的角色 身负厄难毒体 食毒修炼 万毒不侵 通体毒气 这种会无意识地杀死别人的体质让天性善良的小医仙成为人憎鬼厌的天毒女 在萧炎多次帮助下得以控制 出图效果展示 资源整合 今天我们就
  • 阿里云部署Stable Diffusion

    系列文章目录 本地部署Stable Diffusion教程 亲测可以安装成功 Stable Diffusion界面参数及模型使用 谷歌Colab云端部署Stable Diffusion 进行绘图 文章目录 系列文章目录 前言 一 AIGC是
  • 无显卡也能AI作画

    经典碎碎念 事情起因是这样的 我之前写了如何在linux上用Stable Diffusion WebUI 里边提到我迟迟没有弄webui是因为我笔记本A卡 台式机显卡带不动 所以无奈只能使用学校服务器搭一个 当时有人说我 你自己电脑不行怎么
  • 快来玩AI画图!StableDiffusion模型搭建与使用入门~

    1前言 最近AI很火 先是AI画图 然后就ChatGPT 后者我已经用了一段时间了 用来写作文挺不错的 但OpenAI屏蔽了中国IP 加上用户太多啥的 用起来没那么爽 但没办法全球只此一家 只能捏着鼻子用 而AI画图就不一样了 全是开源的
  • stable diffusion ——img2img Api参数数据格式参考,插件包含ControlNet和roop换脸

    init images resize mode 0 denoising strength 1 0 image cfg scale 1 5 mask mask blur 4 inpainting fill 2 inpaint full res
  • AI绘图:教你几个提示词 100%生成美丽小姐姐

    许多常用提示对于确保高质量的成像结果至关重要 我们将教您一些基本的提示词和设置 以节省您在初始探索过程中的时间 本次用到的模型ChilloutMix 基础设置 默认设置包括图片 大小 512 x 512 采样器 DPM SDE Karras
  • Stable Diffusion使用方法

    SD的本地安装教程有很多我就不重复了 这里主要是记录我在使用SD Webui的过程中遇到的问题 总结的一些提升出图效率 出好图概率的经验 先搞几张看看效果 二次元妹妹 高达 Ok 以上只是一小部分成品 属于是抛砖引玉之作 我当时设置的参数出
  • Stable-Diffusion-WebUI从代码下载到使用技巧

    一 写在前面 本文用于对AI绘画感兴趣但无计算机编程基础的人 包含本人安装和使用过程中的心得 可供新学者参考 心理准备 电脑性能越高越好 最好有高端显卡 如30系以上 低端显卡也可以 速度和质量感人就是 会要求下载一些软件 模型 涉及环境变
  • Google Colab 上部署 Stable Diffusion Web UI

    什么是 Stable Diffusion Web UI Colab Stable Diffusion 是 Stability AI 推出的一个基于深度学习技术文字生成图片AI模型 Stable Diffusion Web UI 是一个强大好
  • 轻松打造“文生图”神器!10分钟部署Stable Diffusion

    最近一年 扩散模型太火了 已经成为重要的生产力工具 在AI研究领域也不断有新的工作出现 成为产业界和学术界的热点 本文将在趋动云平台部署扩散模型中广受关注的stable diffusion webui项目 手把手教程 创建项目 首先创建项目
  • AIGC专栏2——Stable Diffusion结构解析-以文本生成图像(文生图,txt2img)为例

    AIGC专栏2 Stable Diffusion结构解析 以文本生成图像 文生图 txt2img 为例 学习前言 源码下载地址 网络构建 一 什么是Stable Diffusion SD 二 Stable Diffusion的组成 三 生成
  • Stable Diffusion背后原理(Latent Diffusion Models)

    前言 2023年第一篇博客 大家新年好呀 这次来关注一下Stable Diffusion背后的原理 即 High Resolution Image Synthesis with Latent Diffusion Models 这篇论文 之前
  • stable diffusion基础

    整合包下载 秋叶大佬 AI绘画 8月最新 Stable Diffusion整合包v4 2发布 参照 基础04 目前全网最贴心的Lora基础知识教程 VAE 作用 滤镜 微调 VAE下载地址 C站 https civitai com mode
  • window下Stable Diffusion一键安装

    轻松安装Stable Diffusion 一键搞定电脑Windows安装 AI绘图技术是当今最火热的技术之一 各种AI绘画软件也层出不穷 其中Stable Diffusion便是其中一款非常重要的 一 电脑Windows安装Stable D

随机推荐

  • jmeter JDBC request提示“Cannot convert value '0000-00-00 00:00:00' from column 6 to TIMESTAMP.”

    在学习jmeter数据库相关的过程中 在请求数据库时报错 Cannot convert value 0000 00 00 00 00 00 from column 6 to TIMESTAMP 解决方法 更改连接数据库方式 在连接 jdbc
  • C++基础入门教程

    1 C 初识 1 1 第一个C 程序 编写一个C 程序总共分为4个步骤 创建项目 创建文件 编写代码 运行程序 1 1 1 创建项目 Visual Studio是我们用来编写C 程序的主要工具 我们先将它打开 1 1 2 创建文件 右键源文
  • 获取本地硬盘信息

    using System using System Runtime InteropServices using System Text namespace driverId Serializable public struct HardDi
  • JS-语法进阶

    JS 语法进阶 三元运算符 类数组对象
  • 蓝桥杯 51单片机 AT24C02

    工作电压为1 8v 6v 第7引脚 WP 接地时允许正常读写 24C02设备地址包括固定部分和可编程部分 编程部分由A2 A1 A0三个硬件引脚来控制 设备地址最后一位用于设置数据传输方向 读 写 在IIC总线协议中 设备地址是起始信号后第
  • git分支管理策略

    1 总览 git 的分支整体预览图如下 从上图可以看到主要包含下面几个分支 master git默认主分支 这里不作操作 stable 稳定分支 替代master 主要用来版本发布 develop 日常开发分支 该分支正常保存了开发的最新代
  • 黑客自学路线

    谈起黑客 可能各位都会想到 盗号 其实不尽然 黑客是一群喜爱研究技术的群体 在黑客圈中 一般分为三大圈 娱乐圈 技术圈 职业圈 娱乐圈 主要是初中生和高中生较多 玩网恋 人气 空间 建站收徒玩赚钱 技术高的也是有的 只是很少见 技术圈 这个
  • Shader开发之三大着色器

    Shader开发之三大着色器 固定功能管线着色器Fixed Function Shaders 固定功能管线着色器的关键代码一般都在Pass的材质设置Material 和纹理设置SetTexture 部分 Shader Custom Vert
  • Anaconda3-5.1.0下载和安装

    下载安装anaconda的小插曲 1 在官网上找到windows的32位的下载 毕竟是八年前的老本了 另一个本装的64位 结果网站上出现问题 没有成功下载 2 万能的网络 终于找到可以下载的清华镜像地址 Index of anaconda
  • 如何阅读源代码

    我们在写程式时 有不少时间都是在看别人的代码 例如看小组的代码 看小组整合的守则 若一开始没规划怎么看 就会 噜看噜苦 台语 不管是参考也好 从开源抓下来研究也好 为了了解箇中含意 在有限的时间下 不免会对庞大的源代码解读感到压力 网路上有
  • Win11 安装Docker Desktop报错:Update the WSL kernel by running “wsl --update“ or follow instructions

    这个问题解决了一整个下午 看了无数的解决方案 最后找到了最有效的解决方案 总结如下 安装Docker Desktop之后 打开出现这样的问题 根据提示在powershell通过 wsl update 命令 出现 error 那么可以试试下面
  • 计算机视觉技术与应用综述

    引用自 无人系统之 眼 计算机视觉技术与应用浅析 张 丹 单海军 王 哲 吴陈炜 一 前言 近年来 人工智能和深度学习获得突破 成为了大众关注的焦点 如LeCun Y Bengio Y Hinton G等 1 提出的深度卷积网络在图像识别领
  • 一篇文章搞定Python多进程(这才是正确的Python多进程的打开方式)

    1 Python多进程模块 Python中的多进程是通过multiprocessing包来实现的 和多线程的threading Thread差不多 它可以利用multiprocessing Process对象来创建一个进程对象 这个进程对象
  • python3 [爬虫入门实战] 爬虫之selenium 模拟QQ登陆抓取好友说说内容(暂留)

    很遗憾 部分数据有些问题 不过还是可以进行爬取出来的 先贴上源代码 encoding utf8 from selenium import webdriver import re from bs4 import BeautifulSoup f
  • 二分字符串,没有连续的 1,使用递归思路,以及算法改进探讨

    今天聊一个递归解决二分字符串的问题 问题 给定正整数 N 计算所有长度为 N 但没有连续 1 的二分字符 比如 N 2 时 输出为 00 01 10 当 N 3 时 输出为 000 001 010 100 101 这个问题我在网上简单搜了一
  • linux 修改文件用户组和所有者

    目录 1 linux下修改文件用户组 2 linux下修改文件所有者 3 linux下同时修改文件所有者和用户组 1 linux下修改文件用户组 chgrp change group的简写 修改文件所属的用户组 chgrp 用户组名 文件名
  • (转) .net web项目的安装制作

    原 http blog csdn net houlinghouling archive 2005 06 17 396338 aspx 一 创建基本安装部署项目 1 在解决方案资源管理器 右击解决方案 添加 新建项目 安装部署项目 Web安装
  • 在loader中创建GDT,进入保护模式

    回顾 上一节实现了从BIOS中加载MBR MBR从磁盘2扇区读取loader加载到内存0x900处 但loader目前尚未实现任何功能 Q A Q1 loader在OS中主要做什么 答 创建一些系统数据结构 如GDT 页表等 打开进入保护模
  • 在csdn中复制的代码 去掉前面的行号

    在csdn中复制的代码会有行号 如下 1 2 3 4 5 6 解决方法 利用notepad 的替换功能 如下图一个个查找替换便可
  • stable diffusion实践操作-Controlnet

    本文专门开一节写提示词相关的内容 在看之前 可以同步关注 stable diffusion实践操作 文章目录 前言 1 ControlNet是什么 2 常用的模型 3 基本操作 openpose full 1 提示词 2 参数 控制效果参数