爱折腾的人运气不会太差（【AI折腾录】stable web ui基础【sd安装、lora vae embedding hyperwork等基础概念】）
转载请注明出处：
🔗https://blog.csdn.net/weixin_44013533/article/details/130297373sd玩了很久了 ，自去年国庆刚出来 ，引起一片lsp欢呼 ，我那段时间也沉迷抽卡 。
后续一段时间的炼丹潮也就没跟进了 ，然后又陆续出来一些大模型像anything3啥的 ，11月份之后又偶尔玩玩 。
今年之后各种技术前仆后继 ，像早先embedding ，后来的lora ，controlnet ，deforum动画 ，实在有些跟不上 ，简直就是日新月异 。
偶尔进入贤者时间也会想想 ，自己不想止步于基础抽卡自娱自乐 ，要形成生产力才行 。
直接放图上面涉及了三个重要元素：画风 、模型 、场景
这也是我以后开发游戏可能需要的东西 ，ai让我不学习绘画也能出图成为可能 ，所以必须精进 。因为之前安装也经常困扰 ，这里也简单记录下
一 sd安装
还是采用秋葉aaaki大佬的启动器 ，我这里不用他的整合包了 ，初次使用直接下载他的也行 ，目前已更新到4.0版本
下载地址：Stable Diffusion整合包v4发布可以看秋叶的基础文档：【AI绘画】从零开始的AI绘画入门教程——魔法导论
整合包比较大 ，想快速尝试的话可以先去官网下载sd ，然后用秋叶的启动器（启动器和文件直接解压到sd根目录 ，启动即可）
stable-diffusion-webui官网注意事项：
错误一
按照提示 ，下载git ，使用git clone方式下载 ，而非下载压缩包（可能这样丢失sd版本信息）
错误二
这里应该事python环境变量没加（没下载python先下载python） ，安装时勾选add path这个选项二 目标
界面使用呀 ，参数含义调整等网上很多 ，不赘述 。
我打算集中于实现上面三个目标来进行学习
稳定画风的人物 、物品 、场景（如人物 ，道具 ，环境） 输出3d图片 ，3d图片转3d模型 ，输出blender等可识别文件 大场景背景 ，过场动画这些目标目前可能还无法涉及 ，但我学习ai最终目标就是这些 ，能带来生产力 ，有助于我日后的游戏开发 。
实际的任务就很明确了 ，包括control net ，lora分层控制 ，训练自己的lora ，分步渲染 ，三视图 ，人物模型 ，道具模型 ，大场景制作 ，图片转动画等 。下面就一步步来 。
参考：stable diffusion新手福音
三 sd基础
3.1 模型 存放大模型的位置：stable-diffusion-webui\models\Stable-diffusion 模型下载地方： sd启动器 civitAI 3.2 vae（Variational autoencoder ，变分自编码器）作用：滤镜+微调
感觉某些会增加饱和度 ，有些模型画面比较灰蒙蒙的 ，可以利用这个加个滤镜 。
大模型本身里面就自带 VAE 的 ，但是一些融合模型的 VAE 烂掉了 （典型：Anything-v3） ，需要外置 VAE 的覆盖来救救 。有时画面发灰就是因为这个原因 。 作者：秋葉aaaki https://www.bilibili.com/read/cv21362202?from=articleDetail 出处：bilibili
如果没有界面没有vae ，去设置→用户界面→快捷设置列表
在框里输入sd_model_checkpoint,sd_vae应用后界面即可出现vae
3.3 embeddingembedding ，又名 textual inversion ，中文名嵌入or文本反转 。简单理解就是提示词打包
up给了一个例子 ，如何在原版sd上生成dva ，那就是给一系列promt让人物接近目标
还可以利用这个特性做到特定动作 ，特定场景等 。（所以我理解与lora的分析素材信息进行学习再输出类似图片不同 ，embedding是一种提示词打包的方式） 3.3.1 安装方式放入stable-diffusion-webui\embeddings
注意：
如出现如下报错 ，原因是版本不对 ，比如下载的embedding是2.1版本 ，sd是1.5
3.3.2 使用方式2023年后版本直接点击主界面这个按钮 ，即可添加对应prompt
这里测试charturnerv2 embedding masterpiece:1.6, best quality:1.4, real picture:1.2, intricate details:1.2, charturnerv2:1.2, a cute girl我并没有输入multiple view这种prompt ，但还是稳定出多人物图 ，这就是提示词打包的力量 ，感觉就是省去了我们反复测试目标提示词的麻烦 ，如果自己的提示词出图比较稳定 ，也可以考虑做成embedding ，这样能更好理解embedding原理 。
3.4 LoraLoRA,英文全称LoW- Rank Adaptation of Large Language Models,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术
作用：对人物和物品复刻（复刻图像特征） ，训练画风（如水墨画） ，固定人物动作特征
lora文件一般几兆~一百兆 ，远比embedding大 ，所以存储的信息也会多 ，还原图像特征效果也会更好 。
up作了个比喻：老板让手下做个购物网站 ，有购物车 、付款 、排序 、浏览等功能 ，程序员一个一个功能添加 ，这就是embedding；什么叫lora呢 ，手下直接跟老板说 ，你就说抄谁的吧 ，然后老板直接丢给他淘宝源码 ，程序员基于源码进行改动 。这就是embedding与lora的区别 。
3.4.1 lora组成
lora promt：
我反正没看出来这几个画家风格差异 ，但对其他lora可能差异就很大了 ，比如不同时期汉服等 。
3.4.2 使用： 将lora文件下载到stable-diffusion-webui\models\Lora文件夹下 ，以墨心lora为例 选择lora作者推荐的大模型 ，然后点击插件选择lora标签 ，选择对应的lora添加lora标签并设置权重 ，按照lora作者提示添加触发词 shukezouma, negative space, <lora:Moxin_Shukezouma11:1>, shuimobysim , <lora:Moxin_10:1> , portrait of a woman standing , willow branches, (masterpiece, best quality:1.2), traditional chinese ink painting,, modelshoot style, peaceful, (smile), looking at viewer, wearing long hanfu, hanfu, song, willow tree in background, wuchangshuo, 生成图片: 3.4.3 效果无lora:
shukezouma, negative space, , shuimobysim , portrait of a woman standing , willow branches, (masterpiece, best quality:1.2), traditional chinese ink painting,, modelshoot style, peaceful, (smile), looking at viewer, wearing long hanfu, hanfu, song, willow tree in background, wuchangshuo,单墨心lora：
shukezouma, negative space, shuimobysim , <lora:Moxin_10:1> , portrait of a woman standing , willow branches, (masterpiece, best quality:1.2), traditional chinese ink painting,, modelshoot style, peaceful, (smile), looking at viewer, wearing long hanfu, hanfu, song, willow tree in background, wuchangshuo,墨心+疏可走马lora:
shukezouma, negative space, <lora:Moxin_Shukezouma11:1>, shuimobysim , <lora:Moxin_10:1> , portrait of a woman standing , willow branches, (masterpiece, best quality:1.2), traditional chinese ink painting,, modelshoot style, peaceful, (smile), looking at viewer, wearing long hanfu, hanfu, song, willow tree in background, wuchangshuo,测试无触发词:
<lora:Moxin_Shukezouma11:1>, <lora:Moxin_10:1> , portrait of a woman standing , willow branches, (masterpiece, best quality:1.2), traditional chinese ink painting,modelshoot style, peaceful, (smile), looking at viewer, wearing long hanfu, hanfu, song, willow tree in background, 3.4.4 测试不同CFG效果原作者提到
“CFG范围将会改变风格 ，1-3 : 大小写意 ，3-7 : 逐渐工笔 ”
根据自己的喜好选择 negative space, shuimobysim, girl, woman,bare shoulders, (ecchi0.5), lips, water splash, (trees:0.5), (flowers:0.6) ,(birds:0.2), (bamboo0.1), lakes, Hangzhou, bonian, bonian in background ,shukezouma, <lora:Moxin_10:0.7> ,<lora:Moxin_Shukezouma11:0.8>,(ultra high res,16k UHD,1920x1080, best quality, masterpiece),我只想说 ，老祖宗牛逼 。看到这我突然想哭又想笑 ，老祖宗留给我们的东西竟用了新的方式去继承了 。
3.5 hypernetworks 超网络低配版lora
以Pixel art为例 ，下载到stable-diffusion-webui\models\hypernetworks文件夹下
类似使用 ，添加<hypernet:LuisapPixelArt_v1:1>prompt ，看原作者是否需要触发词（像素超网络不需要）不同权重效果 ，感觉取1比较像古早像素画风 ，越小越清晰 ，看个人喜好
3.6 补充如果不知道自己下载的一堆东西属于哪个 ，可以进这个网站[Stable Diffusion 法术解析] ，即可判断(https://spell.novelai.dev/)
注：从文件尾缀不能判断它是什么类型 。
模型发展历程：checkpoint大概分为CHECKPOINT TRAINED以及CHECKPOINT MERGE ，分别是别人训练好的和融合好的 ，它是大型模型 ，里面集合了模型参数 、权重等 ，因此出图的的风格 、画风已经相对固定 。
好处就是可以直接拿来用 ，缺点就是想要再去微调十分麻烦 ，于是有了后面的lora 、embedding等模型 。这些属于附加模型 ，应用在checkpoint模型上 ，可以轻易对其进行微调 ，而且容易训练 ，十分方便 。 作者：没啥用的芝士 https://www.bilibili.com/read/cv22559071 出处：bilibili四 总结
简单过了下不同文件类型和使用方法 ，着重尝试了Lora ，毕竟是当前阶段最火的东西 。
接下来会逐步深入学习其他技术 。创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！