ComfyUI 画风迁移操作(进阶篇)
在前几篇的笔记中简单学习了一下ComfyUI的基础操作以及常用的附加网络,一个实际应用中的ComfyUI工作流需要将这些操作都结合起来,而这就是今天这篇笔记要做的事情。
早在几年前甚至是现在都流行着将真人照片转化为动漫风格的潮流,以前的方法是通过手绘或者PS等图像编辑工具来实现。
现在Stable Diffusion也能做到把一张真人的照片转绘成动漫风格,在保持人物大概形象不变的同时为图片添加合适的背景。
时间仓促(有点糙)
WebUI的操作(流程演示)
这种操作在WebUI里面不算难,大概一分多钟就能完成这样的操作。
1、首先找一张想要进行转变的图,为了比较好进行操作我找了一张总体颜色比较素的照片。Merjic老师模型的经典封面
然后查看这张图片的原始尺寸比例,并且在WebUI中调节生成的尺寸。2、这里需要去到Tagger这类提示词反推工具里进行该图片的提示词识别,然后点击发生到文生图将结果直接导入到文生图界面中
3、在导入之后就可以更换一个想要的动漫画风的大模型,并且选择自己喜欢LoRA。
如果有额外添加风格类LoRA的话,还需要将触发的提示词粘贴到提示词框里。负面提示词不知道要怎么写的话可以直接照搬这个:
easynegative, lowres, text, error, extra digit, fever digits, cropped, (worst quality:1.2), low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, lowres graffiti,
4、一般的话需要开启ControlNet来控制诸如人物姿势、线条轮廓等图片的关键特征。
5、点击生产,然后就可以在文生图里面得到一张成品图了。
6、点击图片下方的发送到图生图按钮。
7、之后点击生成,这个过程大概持续一分钟左右。
ComfyUI的操作
(连线连得头大,文末有链接好的工作流可以直接用)
在进入ComfyUI的时候都会自动加载上次做图的进度,这里直接选择Clear掉然后Load Default,这样ComfyUI就会自动加载出一个默认的文生图工作流。1、双击空白处搜索选择一个加载图片Load Image的节点,然后把初始图片导入其中。
2、如果上篇文章中有下载额外的节点包的话,可以搜索一个Get Image Size节点,将Load Image的IMAGE与Get Image Size的image进行连接。
3、如果有下载额外的节点包的话可以搜索一个Tagger节点,这个功能就类似于WebUI的图片反推提示词,可以刚好地帮助AI复现原图的内容。
4、在ComfyUI中也需要选一个大模型和若干LoRA搭配来实现需要的转绘效果,CheckPoint是默认有的,LoRA的节点需要额外进行搜索加载,不清楚怎么加载的小伙伴可以看这篇文章。
黑丝或者白丝,都可以用LoRA(Stable Diffusion进阶篇:ComfyUI 附加网络)
这里就可以搜索一个条件合并(Conditioning Combine)的节点
而这里要做的就是额外添加一个CLIP Text Encode(Prompt)节点来输入LoRA提示词,然后与其他节点进行连接。
5、关于ControlNet的节点怎么放置可以看看上一篇笔记,或者直接跟着我下图一样连接节点。
这里最后的一个Apply ControlNet节点的CONDITIONING就可以连接到KSampler上的positive了。
当同时加载了多个ControlNet并且只想使用其中的一到两个的时候,只需要把不用的ControlNet的权重(strength)设置为0即可。
当然还有另一个方式,右键选择节点后找到Bypass(忽略)选项:
像这样就忽略了整一组Lineart的节点了:
6、最后在从最开始的Load Image节点那里将图片的信息都连接到用预处理器上:
当然还有一些进阶的节点可以自动读取本地文件夹中的图片,然后自动进行批量转绘。甚至觉得生成的图片太小的话,可以在最后的VAE和Save Image节点中间添加个放大的节点。
当然有小伙伴学到这里可能就麻了,这连线什么的真的好麻烦。
这里不得不提起原教程UP的贴心,直接在视频结尾放了一个完整的工作流。
今天的内容就到这里啦!
这篇笔记里分别走了一次WebUI和ComfyUI的转绘流程,如果只是单张或少量图片的转绘肯定还是WebUI方便一些,但是如果是大批量的图片转绘ComfyUI会更有优势。
这还是要看小伙伴们根据自己的实际情况进行选择了,希望这篇笔记能够帮助到有需要的小伙伴。
ComfyUI的入门篇就暂告一段落,我会在下篇笔记中分享并上传我开始学Stable Diffusion以来所有的模型(包括CheckPoint、LoRA等),希望可以帮助到那些没法翻梯子去Civitai的小伙伴。
那就下篇笔记见啦,拜了个拜!
节点包的下载方法:
1、在ComfyUI界面选择Manager:然后选择Install Custom Nodes
2、在上方的搜索栏中分别搜索Ultimate SD upscale
ComfyUI WD 1.4 Tagger
Masquerade Nodes
ComfyUI Essentials
WAS Node Suite
Efficiency Nodes for ComfyUI Version 2.0+
3、将上述节点包都下载好后点击界面最下方的RESTART即可