stable diffusion实践操作-大模型介绍-SDXL1大模型

2023-10-30

系列文章目录

大家移步下面链接中,里面详细介绍了stable diffusion的原理,操作等(本文只是下面系列文章的一个写作模板)。
stable diffusion实践操作


提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

经过SDXL0.9和SDXL Beta的迭代,终于SDXL1.0正式版发布了! 之前使用AIGC生成图片,一般都是生成512512的图,然后再进行放大,以达到高清出图的要求。但是这里有个问题是底模其实都是海量的512512图片训练出来的,所以出图效果上经常不如人意,在细节上会差一些。这次SDXL1.0直接使用10241024的海量图片训练底模,而且分为了文生图用的base模型和图生图进行优化和放大的refiner模型,从而实现了不输于Midjourney的出图效果。
经过SDXL0.9和SDXL Beta的迭代,终于SDXL1.0正式版发布了!
之前使用AIGC生成图片,一般都是生成512
512的图,然后再进行放大,以达到高清出图的要求。但是这里有个问题是底模其实都是海量的512512图片训练出来的,所以出图效果上经常不如人意,在细节上会差一些。这次SDXL1.0直接使用10241024的海量图片训练底模,而且分为了文生图用的base模型和图生图进行优化和放大的refiner模型,从而在开源免费的文生图软件上实现了不输于Midjourney的出图效果。


提示:以下是本篇文章正文内容,下面案例可供参考

1. SDXL 有哪些优化

1. SDXL和SD1.5模型有什么差别

SDXL与原来的SD1.5模型除了大小不同外,最大区别是SDXL由base基础模型和refiner优化模型两组模型构成。您需要先运行基础模型,然后再运行细化模型。基础模型设置全局组成,而细化模型则添加更细节的细节。您也可以选择仅运行基础模型。

语言模型(理解您Prompt提示的模块)是最大的OpenClip模型(ViT-G/14)和OpenAI专有的CLIP ViT-L的组合。这是一个聪明的选择,因为Stable Diffusion v2仅使用OpenClip,很难提示成功。重新引入OpenAI的CLIP可以使提示更容易。在v1.5上有效的提示在SDXL上也有很好的甚至更佳的效果。
扩散模型中最重要的部分U-Net现在大了3倍。加上更大的语言模型,SDXL模型可以生成与提示紧密匹配的高质量图像。
因为底模是10241024训练的,比原来的512512大了4倍,所以底模base基础模型大小也达到接近7GB,refiner也是差不多7GB,对硬件(GPU显存)的要求更高了!如果只有8G以下的显存,建议还是别碰SDXL了

2. 图片的真实感更强

因为对提示词的语义理解更准确,加上底模的分辨率更高,所以对光线、画质、镜头、角度、焦点等等的渲染更到位,以下是我使用提示直接基于XL base模型产生的图片。

photo of young Chinese woman, highlight hair, sitting outside restaurant, wearing dress,
 rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, 
 tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, 
 high detailed skin, skin pores

## 3.对文字的渲染更可靠 之前在SD1.5时,是无法在提示词中提升图片中有哪些文字的,现在在SDXL中,可以比较好的实现对英文单词的渲染,不过有时候也要看运气,经常也会渲染的有些瑕疵,不过瑕不掩瑜,聊胜于无,总是一个不小的进步。这是提示词:
A fast food restaurant on the moon with name "zhoulilian"

2、安装下载

SDXL1.0大模型和vae下载
当前我们并没有下载SDXL1.0的底模,需要手动从HuggingFace下载,具体URL:
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors
https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0.safetensors
这两个文件是底模,大约7个G每个文件。
下载到GPU服务器后,需要放到stable-diffusion-webui/models/Stable-diffusion文件夹中。另外还有一个VAE文件,是可选的,下载地址:
https://huggingface.co/stabilityai/sdxl-vae/resolve/main/sdxl_vae.safetensors
下载后放到stable-diffusion-webui/models/VAE 文件夹中。
然后我们来SD WebUI,刷新底模列表,即可看到XL的base和refiner模型。
至于VAE,默认是不显示在UI中的,可


总结

`1.之前在SDXL1.0发布之前,需要给sd-webui安装Demo扩展才能使用SDXL,现在不需要了,所以如果之前已经安装了Demo扩展的可以删除掉了。
2.直接出尺寸在1024或者之上的图,不要出512*512的图。
3.之前下载的Lora和底模、Embedding等都不能在SDXL1.0上使用,所以需要重新从C站下载专门的SDXL版。很多Lora都没有出XL版Lora,所以大家还是等等生态丰富了再作为生产工具吧。
4.Lora训练工具也更新了,有对应的SDXL版本分支,所以要搞Lora训练的同学,记得切换训练工具的版本,重新训练属于自己的XL Lora。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

stable diffusion实践操作-大模型介绍-SDXL1大模型 的相关文章

  • stable diffusion实践操作-embedding(TEXTUAL INVERSION)

    系列文章目录 本文专门开一节写图生图相关的内容 在看之前 可以同步关注 stable diffusion实践操作 文章目录 系列文章目录 前言 1 embeddding的功能 2 如何去下载 https civitai com models
  • 【Stable Diffusion】lora的基础使用技巧

    1 用lora配套的大模型效果更好 lora训练是根据大模型作为参考 lora是根据那个大模型来训练参数的 例如 这里以墨心lora为例 点击示例图片的中的 在Model中就显示出了作者用于训练墨心lora的底模了 2 最好使用和作者相同的
  • stable diffusion webui中的sampler

    Stable Diffusion 采样器篇 知乎采样器 Stable Diffusion的webUI中 提供了大量的采样器供我们选择 例如Eular a Heum DDIM等 不同的采样器之间究竟有什么区别 在操作时又该如何进行选择 本文将
  • 本地从0搭建Stable Diffusion WebUI及错误记录

    从0开始搭建本地Stable Diffusion WebUI环境 一 环境配置 1 使用的电脑配置 系统 Windows10 处理器 英特尔 i7 内存 24GB 显卡 NVIDIA GTX 1060 6GB 2 镜像源 阿里云 清华大学
  • Stable Diffusion中ControlNet和OpenPose的安装教程

    ControlNet 是一种神经网络结构 通过添加额外条件来控制扩散模型 它将神经网络块的权重复制到 锁定 副本和 可训练 副本中 可训练 的人会了解您的病情 锁定 的模型将保留您的模型 因此 使用图像对的小数据集进行训练不会破坏生产就绪的
  • 创意无限!AI绘画、ChatGPT、AIGC工具合集,让你的创作梦想成真

    你是否曾经想象过有一套工具 可以将你的创意推向新的高度 现在 你的梦想即将成真 我们为你带来了一款令人兴奋的AIGC工具合集 集成了AI绘画 ChatGPT等功能 助你轻松实现想法 创作艺术 解决问题 而一切都在你的指尖 AI绘画 创意无限
  • Windows11安装kohya_ss详细步骤(报错、踩坑)

    文章目录 笔者环境 所需环境 安装kohya ss 方式一 带有GUI的kohya ss仓库 方式二 kohya ss核心仓库 题外话 笔者环境 OS windows11 Python 3 10 6 CUDA11 6 所需环境 Python
  • stable diffusion实践操作-VAE

    系列文章总目录 stable diffusion实践操作 文章目录 系列文章总目录 一 前言 1 定义功能全局介绍 2 模型全局介绍 2 1 后缀以及存放位置 2 2 查看大模型是否有VAE 二 正文 1 原理 1 1 基础原理 2 使用
  • Stable-Diffusion-WebUI 搭建使用教程

    Stable Diffusion Webui 是一个基于Gradio库的Stable Diffusion的浏览器界面 可以说是AI绘画集合体 支持目前主流的开源AI绘画模型 例如 NovelAi Stable Diffusion 有了它 我
  • 仅做笔记用:Stable Diffusion 通过 ControlNet 扩展图片 / 扩图

    发觉之前的 Outpainting 脚本效果仍旧不是很理想 这里又找了一下有没有效果更好的途径来扩图 于是就找到了通过 ControlNet 的方式来实现效果更好的扩图 这里临时记录一下在 Stable Diffusion 怎么使用 Con
  • 阿里云部署Stable Diffusion

    系列文章目录 本地部署Stable Diffusion教程 亲测可以安装成功 Stable Diffusion界面参数及模型使用 谷歌Colab云端部署Stable Diffusion 进行绘图 文章目录 系列文章目录 前言 一 AIGC是
  • Stable Diffusion WebUI安装ControlNet插件

    ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构 sd webui controlnet下载地址 GitHub Mikubill sd webui controlnet WebUI extension for Cont
  • 使用 ChatGPT、Stable Diffusion、React 和 NodeJS 构建网站画廊

    TLDR 在本文中 您将学习如何构建一个 Web 应用程序 该应用程序使用 ChatGPT 和 Stable Diffusion 为您提供的任何网站描述生成徽标和合适的域名 介绍 人工智能正在接管世界 这些技术每天都在震撼着我们的世界 Ch
  • 快来玩AI画图!StableDiffusion模型搭建与使用入门~

    1前言 最近AI很火 先是AI画图 然后就ChatGPT 后者我已经用了一段时间了 用来写作文挺不错的 但OpenAI屏蔽了中国IP 加上用户太多啥的 用起来没那么爽 但没办法全球只此一家 只能捏着鼻子用 而AI画图就不一样了 全是开源的
  • Stable Diffusion Prompt用法

    Stable Diffusion可以根据你输入的提示词 prompt 来绘制出想象中的画面 1 正向提示词 Prompt 提高图像质量的prompt prompt 用途 HDR UHD 64K HDR UHD 4K 8K和64K 这样的质量
  • Stable Diffusion web UI 安装教程

    Stable Diffusion web UI 安装教程 欢迎来到猫说AI wx搜索 猫说AI接入了最新版Chatgpt供大家免费使用 注意 这是ubuntu20 04安装步骤 conda创建python虚拟环境 conda create
  • 轻松打造“文生图”神器!10分钟部署Stable Diffusion

    最近一年 扩散模型太火了 已经成为重要的生产力工具 在AI研究领域也不断有新的工作出现 成为产业界和学术界的热点 本文将在趋动云平台部署扩散模型中广受关注的stable diffusion webui项目 手把手教程 创建项目 首先创建项目
  • AI绘图风格对照表/画风样稿详细研究记录及经验总结(分析Midjourney和Stable Diffusion风格提示词实际使用情况)不断更新中...

    作为AI绘图头牌的Midjourney和Stable Diffusion 其风格提示词都相同 Midjourney是收费的在线服务 通过discord对话形式来生图 局限较大 但由于官方模型做得好 因此效果非常完美 Stable Diffu
  • SD卡系列之---SD初始化(SPI)

    SD卡分为SDIO模式与SPI模式 SDIO模式使用SD总线协议 使用4根数据线进行数据传输 SPI使用1收1发2根数据线数据传输 理论上SDIO模式会比SPI模式速度快4倍 但SDIO模式还牵扯到CRC校验位的计算 所以 如果使用CPU有
  • 艺术二维码生成器 AI绘画生成艺术二维码 stablediffusion制作二维码教程

    史上最全文档AI绘画stablediffusion资料分享 面试题分享点我直达 2023最新面试合集链接 2023大厂面试题PDF 面试题PDF版本 java python面试题 项目实战 AI文本 OCR识别最佳实践 AI Gamma一键

随机推荐