ComfyUI LoRA strength_model·strength_clip 차이 정리
ComfyUI에서 LoRA를 처음 연결하면 가장 먼저 마주치는 값이 strength_model과 strength_clip이다. 둘 다 기본값이 1.0이라 그대로 사용하는 경우가 많지만, 실제로는 같은 역할을 하는 값이 아니다.
strength_model은 LoRA가 생성 모델 자체에 얼마나 강하게 반영될지를 조절하고, strength_clip은 텍스트 조건을 처리하는 CLIP 쪽에 LoRA가 얼마나 영향을 줄지를 조절한다. LoRA를 적용했는데 그림이 지나치게 무너지거나, 반대로 프롬프트 반응이 어색하다면 이 두 값을 따로 살펴볼 필요가 있다.
lora에서 가장 먼저 볼 변화
strength_model은 이미지 생성 변화량을 조절한다
ComfyUI의 기본 Load LoRA 노드는 MODEL과 CLIP을 동시에 입력받는다. 여기서 strength_model은 LoRA가 diffusion model에 적용되는 강도를 결정한다.
쉽게 말하면 캐릭터의 얼굴 특징이나 화풍, 의상처럼 실제 생성 이미지에서 LoRA의 특징이 얼마나 강하게 드러날지를 결정하는 값에 가깝다.
공식 ComfyUI 노드에서 설정 가능한 범위는 -100부터 100까지지만, 일반적인 이미지 생성에서는 0~1 주변의 값을 사용하는 경우가 많다. 값이 커질수록 LoRA의 영향도 강해진다.
strength_model은 처음부터 높이지 않는 편이 쉽다
LoRA 제작자가 권장하는 값이 있다면 그 값을 우선하는 것이 좋다. 별도 정보가 없다면 0.6, 0.8, 1.0처럼 몇 단계로 나누어 같은 seed와 prompt로 비교하면 차이를 확인하기 쉽다.
특히 스타일 LoRA 여러 개를 동시에 연결하면 각 LoRA의 영향이 겹친다. 한 개에서는 문제가 없던 1.0이 여러 개를 연결한 환경에서는 지나치게 강하게 느껴질 수도 있다.
동일한 프롬프트와 seed를 유지한 상태에서 strength만 바꿔 결과를 비교하면 LoRA 문제인지 프롬프트 문제인지도 구분하기 쉬워진다.
strength_clip은 프롬프트 해석 쪽에 영향을 준다
strength_clip은 LoRA를 CLIP에 적용하는 강도다. ComfyUI 공식 설명에서도 이 값은 CLIP의 텍스트 임베딩에 LoRA가 얼마나 영향을 미치는지를 조절한다고 설명한다.
lora가 ComfyUI 워크플로우에 미치는 영향
따라서 strength_model을 단순히 복사한 값이라고 생각하면 안 된다. LoRA 자체가 CLIP 쪽 가중치를 포함하고 있는지, 어떤 방식으로 학습됐는지에 따라 체감 차이도 달라질 수 있다.
기존 방식과 비교해야 할 부분
strength_model과 strength_clip은 같은 값일 필요가 없다
기본값은 두 항목 모두 1.0이지만, 두 값은 독립적으로 입력할 수 있다. 예를 들어 이미지 특징은 충분히 나오지만 프롬프트 반응이 지나치게 경직된다면 strength_model은 유지하고 strength_clip만 낮춰 비교해볼 수 있다.
반대로 LoRA에서 제공하는 트리거 단어나 특정 텍스트 조건이 중요하다면 CLIP 쪽 영향을 지나치게 낮추는 것이 결과를 바꿀 수도 있다.
ComfyUI 내부 구현에서도 strength_model과 strength_clip은 각각 별도의 값으로 LoRA 로딩 함수에 전달된다. 두 값을 0으로 설정하면 LoRA 적용 자체를 건너뛰도록 구현되어 있다.
Load LoRA Model Only는 CLIP을 수정하지 않는다
CLIP에 LoRA를 적용하지 않을 목적이라면 기본 Load LoRA 대신 Load LoRA Model Only 노드를 사용할 수도 있다.
이 노드는 MODEL 입력과 strength_model만 사용하고 CLIP은 수정하지 않는다. 즉 워크플로우에서 텍스트 인코더를 건드리지 않고 diffusion model 쪽에만 LoRA를 적용하려는 경우 구조를 더 명확하게 만들 수 있다.
ComfyUI 기본 노드 코드에서도 LoraLoaderModelOnly가 별도로 제공되며, 내부적으로 CLIP strength를 0으로 처리한다.
성능과 결과 품질에서 확인할 차이
워크플로우 구성에서 놓치기 쉬운 부분
다만 모든 LoRA에 Model Only 방식이 더 좋다는 의미는 아니다. 사용하는 LoRA가 어떤 구조를 대상으로 학습됐는지를 먼저 확인해야 한다.
여러 LoRA를 연결하면 strength가 순서대로 누적된다
ComfyUI는 Load LoRA 노드를 여러 개 직렬로 연결하는 방식을 공식적으로 지원한다. 앞 노드에서 LoRA가 적용된 MODEL과 CLIP을 다음 Load LoRA 노드로 넘기면 두 번째 LoRA가 다시 적용된다.
이때 중요한 것은 각 노드의 strength를 개별적으로 조절할 수 있다는 점이다. LoRA A를 0.8, LoRA B를 0.4처럼 두고 조합을 비교할 수 있다.
여러 LoRA를 사용하는데 결과가 갑자기 과장된다면 전체 CFG나 sampler부터 바꾸기보다 LoRA별 strength_model을 먼저 낮춰보는 편이 문제를 좁히기 쉽다.
LoRA가 이상할 때 먼저 확인할 것
LoRA 파일은 기본적으로 ComfyUI/models/loras 폴더에 넣으면 Load LoRA 노드에서 선택할 수 있다. 하위 폴더도 감지되기 때문에 종류별로 분리해 관리하는 것도 가능하다.
LoRA를 넣었는데 목록에 나타나지 않거나 결과가 예상과 크게 다르다면 다음 순서로 확인하는 것이 빠르다.
LoRA 문제를 좁히는 확인 순서
실제로 적용할 때 체크할 점
LoRA가 models/loras 경로에 있는지 확인
사용하는 base model과 LoRA의 호환성을 확인
제작자가 지정한 trigger word가 있는지 확인
strength_model을 먼저 조절
필요할 때 strength_clip을 별도로 변경
여러 LoRA를 쓰고 있다면 하나씩 비활성화해 비교
특히 SD1.5용 LoRA를 다른 계열 모델에 무작정 적용하는 식으로 base model 자체가 맞지 않는 상황은 strength 조절만으로 해결되지 않는다.
마지막 확인
ComfyUI에서 LoRA 강도를 조절할 때 두 값을 하나의 ‘LoRA 세기’로 생각하지 않는 것이 핵심이다. strength_model은 생성 모델의 변화량, strength_clip은 텍스트 조건 처리 쪽의 영향을 조절한다.
처음에는 LoRA 하나만 연결하고 같은 seed로 strength_model부터 단계적으로 비교해보자. 결과는 괜찮은데 프롬프트 반응만 이상하다면 그다음 strength_clip을 따로 조절하는 방식이 가장 확인하기 쉽다.