接上一章

本次记录ControlNet(v1.1)的基础使用。

(资料图)

有点事耽搁了，晚了好多天才开始，然后写到一半突然来了个v1.1的大更新，直接傻了...

又重新学了一遍.....主要是插件还天天更新修复，一会变这个一会变那个，真的欲哭无泪。此次学习记录以4月18日20a5310版本为基准，已经关闭了插件自动更新，写完之前绝不打开，

说实话大佬们纷纷献言献策身体力行，插件越更新越专业，能参考的知识也越来越深奥，上手难度越来越大，感觉已经不是给普通人玩的了......

再有更新肯定还会有变化，大家参考下就行

因为不懂算法也不懂绘画，以下大部分内容只是通过结果进行的反推，说的不对轻喷...

前面几篇有需要的新手小伙伴可以去合集中看看：

（一）Windows本地搭建

（二）插件及模型安装

（三）基础使用教程

（三.5）提示词的进阶使用

（四）模型推荐

（五）图生图的基础使用1

（六）图生图的基础使用2

（七）ControlNet 1、2

③ lineart / 线稿系列

lineart系列是此次v1.1更新新增加的内容，四个预处理器：lineart_realistic、lineart_coarse、lineart_standard、lineart_anime；两个模型：control_v11p_sd15_lineart、control_v11p_sd15s2_lineart_anime。

其中lineart_realistic、lineart_coarse、lineart_standard对应control_v11p_sd15_lineart模型，用于正常图片转线稿出图；

lineart_anime对应control_v11p_sd15s2_lineart_anime模型，是动漫线稿专用，配合二次元大模型出图。

看机翻官方说明：

lineart_realistic

以前就叫lineart，后来加了个realistic。就是将正常的图片转成线稿，并不仅限写实类图片。

这次出动美女做实验对象↓

能看到它的线条并不是正儿八经的那种实线条，带一点hed那种柔化的效果↓

会受光照的影响↓

另外主体很完整，背景的内容似乎会被舍弃

出图看一下

提示词统一使用：

写实这种影响蛮大的，二次元的反倒是还行↓

换复杂一点的图看看↓

程序有自己的判断，并不会一昧的舍弃背景。

提高分辨率会使线条更精细，增加更多的线条。左512；右1024↓

lineart_coarse

lineart_realistic的粗略版，

中：lineart_realistic；右：lineart_coarse↓

不知道在绘画中这个叫什么，感觉就像是线稿的草稿一样，有类似参考线一样的延伸线条没有擦掉似的

上面说的光照的影响，减弱了许多

出图看看

左：原图；中：realistic；右：coarse↓

提高分辨率会减少一些莫名其妙的线，增加细节

左：512；右：1024↓

换复杂的图：

上coarse；下realistic↓

对比realistic看出来什么叫粗略线稿了

粗略的好处就是会有更大的变化，更自由

其实我蛮好奇将它们反色以后是什么样，然后试了一下↓

也很有意思

lineart_standard

这个预处理器还有个后缀：from white bg and black line，按照官方的说法，standard是专门用来处理白色背景黑丝色线条的线稿图的，但是我们还是都试一下

上：standard；中：coarse；下：realistic↓

因为是用来处理线稿图，所以基本不会做改变，主打还原，可以看第三张图基本是百分百还原了线稿。还原度太高也因此不适合用来处理正常图片，当然也不是不能用，如果就是拿来换个颜色，我觉用standard还蛮合适的

使用standard出图：

左：原图；中：realistic；右：standard↓

告诉你们一个秘密，不要放大看最后一张图，否则会发现一个秘密

lineart_anime

lineart_anime需要使用control_v11p_sd15s2_lineart_anime，需要输入尽可能详细的提示词才好用，不支持无提示词模式。

先看下预处理器，前两张图只是拿来对比一下效果，可能并不适用：

左：原图；中：realistic；右：anime↓

不好评价，第一感觉anime像是提高了阈值版的realistic，线条变少变淡，但是又没少多少....还原程度上来说稍稍变低。

官方表示这是专门用来处理动漫线稿的，因此我们主要看下线稿，用standard那张与它对比

左standard；右anime↓

首先背景的云彩直接无了；头发的轮廓没变，里面的变化忽略不计；可能是睫毛的地方没变，眼睛变淡；再下面就是线条颜色稍稍变淡。

再换个图试试↓

这次倒是能看出一些特点：原图的线条越粗，在anime预处理图中就越亮；原图中线条越细，anime预处理图中就越淡

再找个验证一下↓

确实是如此，但如果线条太粗，会被直接忽略，不确定判定标准是什么↓

再看看模型的效果，

先试试搭配control_v11p_sd15_lineart，然后搭配control_v11p_sd15s2_lineart_anime，使用前面的realistic的出图作对比

左：realistic+sd15_lineart；左二：anime+sd15_lineart；

右二：anime+sd15s2_lineart_anime；右：anime+sd15s2_lineart_anime+二次元模型↓

左：realistic+sd15_lineart；中：anime+sd15_lineart；右：anime+sd15s2_lineart_anime；↓

左：realistic+sd15_lineart；中：anime+sd15_lineart；右：anime+sd15s2_lineart_anime；↓

再看看后面试验的那几个，实在不想写提示词，使用anythingv3出图↓

最后这张不同的大模型效果不同，anythingv5就不会补全另一只眼睛，另外鼻子上这个黑点实在是让人难受.....↓

sd15s2_lineart_anime需要长提示词才能发挥好的效果，意思就是最好详细的描述想要的内容和效果，我就不尝试了，大家自己试试吧

这几个预处理器都只有一个调节分辨率的选项，仍然是越高越精细，但是效果不一定好，尤其是对正常图片来说，对线稿的影响是比较小的，也不在进行比对

总结：lineart是还原度最高的预处理器。使用正常图片时选择realistic，想要进一步降低还原度可以选coarse，反之想要高度还原选standard；anime专门给线稿使用，是画家们的首选，应该是....

④ mlsd / 直线检测

这个没啥好说的，直线检测，设计师的最爱？

v1.1中模型得到了较大的改进

不再测试，直接放官方的图↑

继续下一个

⑤ normal / 法线贴图

midas预处理器虽然还在，但是官方的说法这个已经被弃了。旧版的模型无法兼容其他引擎，也弃了。所以直接使用新版就行。

法线是一个数学概念，使用垂直于表面的矢量来表示其方向。法线贴图虽然看着花花绿绿的，但是颜色并不是真的颜色，是数值，表示法线矢量的方向。就和深度图的颜色一样，深度图的颜色代表空间深度，法线贴图的颜色代表纹理或深度。

简单理解就是用光线照射一个物体，如果表面凹凸不平，光就会被往不同的方向反射，通过这些方向可以反推物体的形状。但是我们上传的并不是一个物体而是一张平面的图片，所以这个可能还是以深度估算为基础进行的。

因此法线贴图是用来还原原图的形状、纹理等等表面特征，上传图片时就要注意，如果立体感很差，预处理基本不会有效果。

这个颜色前面说RGB to BGR的时候也说过。

normal_midas就不说了，反正不维护了。

normal_bae

新增的法线预处理器，用以替代midas，只有一个分辨率选项↓

相比深度图的黑白，这个使用三个颜色代表数值，变化太多，一些小的变化肉眼实在是很难观察，但是看出图确实是有的

提高分辨率，上512、下1024↓

原图的空间感是很足的，出图就不行了，再开启一个窗口使用深度depth结合看看

⑥ openpose/ 姿势检测系列

这次的openpose优化了手部检测，添加了表情检测，对应的模型是control_v11p_sd15_openpose。另外还有一个表情检测mediapipe_face，等下与face一起说。

openpose、openpose_hand、openpose_face、openpose_full

openpose是姿势检测的预处理器，hand是姿势+手，face是姿势+脸部表情，full是姿势+手+脸部表情

看示例，全身图脸部实在是太难了，高清修复又浪费时间，最后终于找了个还能看的

openpose：↓

openpose_hand：可以发现原图的手就不行，依照原图提取的手也没还原，而且只提取了一只手↓

openpose_face：即使把分辨率提到1024，仍然只有一点笑意，等会专门找个面部大图试试↓

openpose_full：↓

试试脸部大图，512和1024分辨率并没有区别，只不过是看着点大点小，数量和位置是一样的，眼部并没有还原↓

原图是我随机生成的，本来就不咋样，和原图一比，这俩出图就和看牙医一样....

openpose_faceonly、mediapipe_face

还是上面那个图，看看只有脸部的情况

openpose_faceonly，多试几次也能还原出眯着眼，还会出现意外....↓

mediapipe_face，还原眯着眼的概率极高，也会出现睁眼的状态↓

关于mediapipe_face，机翻

三周前就开始试验，几天前才合并进来，需要单独下载模型和配置文件，放到...\extensions\sd-webui-controlnet\models

一般的话下载sd15就行

看眼珠，原图就不放了↓

mediapipe_face除了分辨率还有两个调节选项。

max faces：最大面部数量；

Min Face Confidence：最小面部置信度。置信度的意思就是它检测到一个地方像又不像面部，就会给它一个置信度，如果低于这个值，就不会被当做面部进行提取。

图片上有三个人脸，我们要全部提取，就需要设置max数量为3（或者大于3...）↓

但是如果我只需要两个，它会怎么提取呢↓

没要中间的，不知道什么原理，可能是按照置信度排序？继续看1个的情况↓

只要了左边的，再试试其他图。↓

图片来自百度。这一张上有6个面部，左后方的那个不是我打的码，试试全部提取，max设置为6↓

少了一个，那个被胳膊挡住了一部分，置信度低于0.5了，调低置信度试一下↓

调到0.39才出来↑

对比一下faceonly↓

大家根据自己的需要设置。

⑦ scribble / 涂鸦系列

scribble_xdog、scribble_pidinet是新增的，scribble_hed是旧版的伪涂鸦，本来还有个scribble_thr是旧版的涂鸦（类似二值），后面的更新被移除了。它们对应的模型是control_v11p_sd15_scribble。

涂鸦的线条较粗，因此大部分的细节都难以得到精细的保留，但是相对的也更自由，更适合拿来自由调校。

随便选个好看的大模型做测试

scribble_hed

只有一个分辨率选项，上：512，下1024，为了减少出图影响，都不填写提示词↓

scribble_hed预处理器出图的线条虽然简单，但是能发现scribble模型对线条很敏感，线条的增加减少都会得到很明确的反馈。

这个大模型和anythingv3有的一拼，什么提示词都没有，仅凭几条线就出图就这么好

似乎更喜欢二次元图，线条真多↑

对于线稿，512的分辨率直接啥都看不出来，但是还画出来了。而且出图对线稿十分不友好，特别喜欢把衣服的线条当成关键布料，然后其他地方全都镂空，上面那张1024的出图是我随机了好多张才选出来的。↑

小新哭晕在厕所....↑

scribble_pidinet

相比hed，pidinet会保持线条尽量连贯，但是会舍弃一些小细节，看不懂原理

左：pidinet 512/1024；右：hed 512/1024↓

为了照顾小新的情绪，娜娜子就不上了

scribble_xdog

DoG实际上是一种类似canny的边缘检测，xdog改进了dog，加宽了边缘，添加了阈值选项进行范围判定，阈值越小，轮廓边缘越宽，还原的原图内容越多；阈值越大，边缘会变细一点，但是会舍弃很多内容，这也可能是把它放到涂鸦这一系列里的原因。

左：xdog 512/1024；中：pidinet 512/1024；右：hed 512/1024↓

分辨率的提升对xdog基本没啥影响，看着不一样是因为图缩小了，放大看其实是差不多的↓

主要看一下不同阈值的影响，默认值是32

左：1；左二：16；右二：32；右：64↓

出图看一下↓

⑧ segmentation / 语义分割系列

语义分割预处理器使用不同的颜色标记不同的物体，然后通过模型还原，还原出来的是同一类，并不是同一个。

seg_ofade20k（ofa）、seg_ofcoco（ofc）是新增的预处理器，使用了Oneformer，seg_ufade20k（ufa）就是旧版的语义分割，使用了Uniformer。ade20k和coco的区别就是颜色代表的物体不同，另外coco拥有更多的颜色，可以精确区分更多物体。感兴趣的自行百度ADE20K和COCO颜色表，看看分别代表什么

原图；左：seg_ufade20k；中：seg_ofade20k；右：seg_ofcoco↓

吉他ade20k和coco都没识别出来，看来是都没有这个；ufa的识别显然是很混乱，边界不清；ofa就好很多了，背景上的两个牌子都识别出来了，但是墙整个是一体的；ofc分的倒是很清楚，不过墙上的牌子没识别出来。

换个场景↓

从这张看ofc就强太多了，海洋、沙滩、房屋、绿地、道路、树木、道路分的很清楚

插播一个汉堡包，由artiusv15_v1大厨制作

因为限制了发文长度，只能分开发，未完待续

标签：