发现我一直在写一些环境的问题,这次记录一下自己生图的尝试

在c站上面按照大佬的提示词出图,使用了三个lora,然后再准备放大的时候,有点愣住了,放大我只接触过三种模式

1.latent按系数缩放

2.SD放大

3.使用模型放大图像

当然这三个放大模式并不代表什么,主要是前两个需要通过类似KSampler的采样器放大

这里我就有一个想法,因为我一般很少出现多个重复节点(像我只用一个checkpoint),所以在连接clip的时候,你会发现放大的采样器都会经过lora....于是就会有一些问题出现

给个图片示例

提示:因为我不是当时截图的,所以这个工作流里面都是没有图片的,放大太多次实验了,不想重新运行太久了

因为我发现SD放大的效果是最好的,所以这里都是用SD放大实验

看上图,两个正负面的clip,最终会连接到SD放大的正负面clip

所以你会发现这个SD放大,采样的时候会把lora也加载进去......于是我就发现了问题,就是图片会渲染太多次lora的效果(放大几次渲染几次)

lora多次渲染

先看一下初始文生图的图片

先不说画面模糊,多手指以及手指畸变问题,反正当时只想高清放大

按照初始的sd放大,就发现问题了,当然有一部分是因为我的sd放大参数调节有问题,看下图(这里是截图,因为图片大于5m没法直接上传)

首先是因为lora叠加,会发现色彩太夸张了(里面有一个发光的lora),然后就是各种畸形,以及衣服上的纹理会疯狂叠加

当时第一想法是,试着先用不同方法的放大,也就是latent按系数缩放,试试效果如何

好吧,直接放弃,感觉我要的效果全部没了(感觉lora直接没了)

调整lora权重

这时候我们就不能偷懒了,在经过sd放大的时候,得重新加载lora(不能用初始生图的那个)

看起来一大堆,其实都是一样的节点,只不过当时我在做实验对照

先看详细的,生图的lora我的权重都调整很高

放大的时候,稍微调整一下lora的强度,看情况调整(我比较喜欢那个眼睛发光的lora,所以就稍微高一点也可以)

当然我还增加了放大的时候不使用lora的情况对照,就是sd放大的model连接直接连checkpoint,不要连经过lora的model

接下来就看一下对照实验吧

放大一次(接近4k)

原生lora(权重1):乱花渐欲迷人眼,全是特效,直接炸裂

轻微lora(权重低):效果还可以

无lora:效果感觉也还行

总结:

因为上面都是截图,你们也很难看出区别(我直接放大到8k那个细节差异太明显了额)

1.lora权重过高会炸裂

2.降低lora权重会继续渲染(衣服发光的细节会更清晰),但是容易出现崩坏(肢体),所以需要多刷几次

3.直接不用lora放大,效果应该是最好的,但是就看你对lora的需求高不高(例如注重发光)

后续如果无聊,我再试试改变clip文本以及使用与生图无关的lora进行放大会咋样,不过感觉效果应该不会好,不然早就有大佬做教学了.....

Logo

智能硬件社区聚焦AI智能硬件技术生态,汇聚嵌入式AI、物联网硬件开发者,打造交流分享平台,同步全国赛事资讯、开展 OPC 核心人才招募,助力技术落地与开发者成长。

更多推荐