【AI画图】stable-diffusion_webui on colab

小猪佩奇

正巧今天有空，闲着也是闲着，写一篇stable-diffusion_webui on colab的教程，如有不妥之处还望指正。

stable-diffusion不再解释，当下火热的AI画图项目

Colab 是谷歌提供的一种托管式 Jupyter 笔记本服务，只需要知道可以白piao他家的gpu即可。

准备工作

Windows+chromium内核浏览器
因为是谷歌的服务，所以自行配置好网络环境，保正能上谷歌即可。
【注意】断开后Colab将不能运行

提前登录谷歌账号；GitHub账号；GoogleDrive
提前下载
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt
将其上传至GoogleDrive根目录（最好复制一份作为备份）

收藏并以GitHub登录https://civitai.com/
以便后续使用（开启NSFW，找提示词等）

stable-diffusion_webui使用的是这个项目【以下简称SDwebui】
https://github.com/camenduru/stable-diffusion-webui-colab
个人现在使用的是这个
https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/stable/stable_diffusion_v2_1_webui_colab.ipynb


准备工作完毕，开始搭建环境
打开colab（上面的那个链接）和civitai


此时应该是这样的，不要着急运行，点左边的文件夹打开


接着点上面的装载谷歌云端硬盘


将滑块（有两层，最外层）拉到最下方，点上移单元格，然后执行

执行后会弹出一个验证，连接到谷歌云盘。

验证后点文件下面的刷新按钮（不是刷新网页）
等待片刻，就会出现drive的目录，将开始上传的VAE拖拽到SD的VAE目录（移动）


最后点击运行这个单元格开始安装相关依赖和程序


经过漫长的等待，最后会生成几个网址，指向本次搭的SD服务

[当然是建议https]

开始使用

点开刚生成的任意一个链接（不建议多人使用）

[搭建成功应该是这样]

先加载SD VAE，刚我们从谷歌盘拉过来的那个。

【注意】没有的话点旁边的刷新

接着我们打开civitai，找个喜欢的模型，比如ChilloutMix，如果你看不到说明没有登录，里面含有NSFW内容，默认是不给显示的。
复制这个名称回到SDwebui，在Civitai按照图示依次完成搜索到下载，注意中间有进度条要等待，开始下载后在colab后台能看到进度。

（这个模型看你自己需要来决定是否备份到谷歌云盘，停止程序后可以使用copy命令完成备份，在我看来谷歌盘要快得多）

又是经过漫长的等待，回到SDwebui的主界面，与配置SD VAE一样，载入下载好的主模型（checkpoint）

如此一来就可以开始我们的绘图之旅

开始绘图

先熟悉主界面的几个功能

txt2img 文生图
img2img 图生图，好处是有一定的可控性，比如色彩比如构图
image Browser 图片浏览（已经完成的图片）
Extras 通常执行批量ai放大
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
CivitAi 模型站
Hugging Face 需要token，可以直接从上面下开头那个VAE
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Setting 设置
Extensions 插件
Train 训练

流程：
打开CivitAi找喜欢的模型，载入到SDwebui中，紧接着在模型下方的展示页面里，物色几张好看的图，点入右下角找提示词
将刚刚的Prompt和Negative Prompt填入框中，Prompt为想要的关键词，Negative Prompt为不想要的关键词。


根据需要选择适当的method，steps，CFG以及尺寸。

这里注意尺寸越大速度越慢，并且后续会执行ai放大，建议设置为1500以内，需要快速出图的，请设置在1000以内，并控制步数在20左右。
最后点击generate生成就可以了

同样的，可以在colab后台看到进度


完成后，继续点击send to img2img进行放大


依次在底部script选择SD upscale，根据需要调整下方的Scale Factor（2即为两倍放大）
Upscaler建议勾选R-ESRGAN 4x+，其余参数请自行尝试。

上方的Denoising strength建议根据模型调整至适当的值，有说法值越高，程序参与改动越多，比如破图。
最后点击生成，等待结果

【非常重要】过高的尺寸将大幅提升计算时间，甚至造成绘图失败

Lora的使用

简单解释下，一般几种模型可以这么理解：checkpoint为主模型，决定整张图的艺术风格，VAE相当于配色影响图片质感。而Lora则可以当作辅助模型，它可以是雷电将军，也可以是八重樱，可以是奥特曼，也可以是孙悟空，记录了素材的特征，根据这些特征以checkpoint的艺术风格生成图片。
并且Lora是可以自己训练的，难度不高。

同样，我们需要去CivitAi找喜欢的Lora模型，复制名称回到SDwebui，和checkpoint一样，务必在搜索之前勾选Lora


回到主界面，在下方点开Additional Networks，刷新模型，直接第一个模型下拉找到刚下好的Lora（没有说明你没下好），选中后务必勾选Enable。

如法炮制，仅供参考

萌点儿

正好想要折腾一下，就看到了这篇贴子

Send by Discuz x Reader

Amanda

虽然这个教程很早之前就看到别人发过，但是loc还是第一次看到

aipage

不错，收藏了。有空研究研究。

小猪佩奇

Amanda 发表于 2023-4-8 17:15
虽然这个教程很早之前就看到别人发过，但是loc还是第一次看到

对，大佬都在吹水

sss

这个能白p多久

小猪佩奇

sss 发表于 2023-4-8 17:17
这个能白p多久

一天目测二十几张吧，每天会刷新

crazyalllife

路过，学习学习~~~~~~~

木一

除了前期步骤，生成一张图大概多久呀

倾城翻翻分身一

问题来了,废这么大功夫搞出一张图,这图能干啥?

小猪佩奇

木一 发表于 2023-4-8 18:11
除了前期步骤，生成一张图大概多久呀

1分钟到10分钟