LoRA 뜻, 왜 작은 파일로 이미지 스타일을 바꿀까
ComfyUI에서 모델을 받다 보면 checkpoint보다 훨씬 작은.safetensors 파일에 LoRA라는 이름이 붙어 있는 경우가 많다. 캐릭터나 화풍을 추가할 수 있다는 것은 알겠는데, 정작 LoRA가 무엇의 약자인지와 왜 작은 파일 하나가 이미지 결과를 크게 바꾸는지는 처음 보면 이해하기 어렵다.
LoRA는 Low-Rank Adaptation의 약자다. 핵심은 거대한 모델 전체를 다시 학습하는 대신 기존 모델은 유지하고, 변화에 필요한 작은 가중치만 추가로 학습한다는 데 있다.
lora 뜻에서 가장 먼저 볼 변화
LoRA 뜻은 Low-Rank Adaptation이다
LoRA는 2021년 공개된 논문에서 제안된 방식이다. 원래 목적은 대규모 사전 학습 모델 전체를 매번 fine-tuning하는 비용을 줄이는 것이었다.
일반적인 full fine-tuning은 기존 모델의 많은 파라미터를 직접 수정한다. LoRA는 이와 달리 pretrained model의 기존 weight를 고정하고 학습 가능한 작은 rank decomposition matrix를 추가한다.
Low-Rank가 의미하는 것
여기서 Low-Rank는 단순히 품질이 낮다는 의미가 아니다. 모델의 거대한 weight 변화 전체를 그대로 학습하기보다, 그 변화를 더 작은 차원의 행렬 조합으로 표현한다는 뜻에 가깝다.
그래서 원래 모델 전체와 비교하면 학습해야 할 파라미터 수를 크게 줄일 수 있다. 원 논문에서도 LoRA의 장점으로 학습 파라미터와 GPU 메모리 사용량 감소를 제시했다.
즉 LoRA라는 이름 자체에 이미 핵심 원리가 들어 있다. 전체 모델을 새로 만드는 것이 아니라 기존 모델을 특정 방향으로 적응시키는 작은 추가 학습 구조다.
ComfyUI에서 LoRA가 작은 파일인 이유
생성형 이미지 모델에서도 같은 개념을 활용한다. 하나의 거대한 checkpoint를 캐릭터마다 새로 만드는 대신 해당 특징을 학습한 LoRA weight만 별도 파일로 저장할 수 있다.
lora 뜻가 ComfyUI 워크플로우에 미치는 영향
그래서 LoRA 파일은 base model 자체를 완전히 대체하는 checkpoint와 역할이 다르다. 사용하려면 LoRA가 기반으로 삼는 model이 함께 필요하다.
기존 방식과 비교해야 할 부분
예를 들어 특정 스타일 LoRA를 가지고 있더라도 그것만으로 이미지 생성 모델 전체가 구성되는 것은 아니다. ComfyUI에서는 먼저 base model을 불러온 뒤 LoRA를 그 위에 적용하는 구조를 사용한다.
LoRA는 base model 위에 추가된다
이 관계를 간단히 보면 다음과 같다.
Checkpoint: 이미지 생성의 기반이 되는 모델
LoRA: 기반 모델에 특정 특징을 추가하는 가중치
Load LoRA: ComfyUI에서 해당 LoRA를 MODEL과 CLIP에 적용하는 노드
따라서 LoRA 파일이 작다고 해서 독립적인 소형 checkpoint라고 이해하면 정확하지 않다.
성능과 결과 품질에서 확인할 차이
어떤 LoRA를 다운로드했는데 결과가 전혀 나오지 않는다면 파일 자체만 볼 것이 아니라 어떤 base model을 대상으로 학습됐는지도 같이 확인해야 하는 이유가 여기에 있다.
워크플로우 구성에서 놓치기 쉬운 부분
캐릭터·화풍이 바뀌는 것도 같은 원리다
ComfyUI 사용자 입장에서 LoRA를 가장 쉽게 체감하는 부분은 특정 캐릭터나 스타일을 적용할 때다.
기본 모델이 이미 가진 이미지 생성 능력 전체를 다시 만드는 대신, 특정 얼굴 특징이나 의상, 그림 스타일 같은 방향의 변화만 LoRA 형태로 추가할 수 있다.
이 때문에 하나의 base model에 서로 다른 LoRA를 교체하면서 결과를 바꾸는 방식이 가능하다. LoRA를 빼면 다시 원래 base model을 사용하고, 다른 LoRA를 연결하면 새로운 방향의 가중치가 적용된다.
여러 LoRA를 한 workflow에 연결할 수 있는 것도 같은 구조 때문이다. 다만 LoRA마다 학습된 대상과 base model이 다르기 때문에 단순히 파일을 많이 연결한다고 항상 좋은 결과가 나오는 것은 아니다.
Load LoRA의 strength는 영향도를 조절한다
ComfyUI의 기본 Load LoRA 노드에는 LoRA를 선택하는 항목과 함께 strength 설정이 있다.
이 값은 LoRA가 가진 학습 결과를 생성 과정에 어느 정도 반영할지를 조절한다. 따라서 LoRA를 사용한다는 것은 base model을 다른 checkpoint로 교체하는 것이 아니라 기존 모델에 LoRA의 영향을 추가하는 과정으로 이해하는 편이 쉽다.
실제로 적용할 때 체크할 점
strength가 높다고 항상 좋은 것은 아니다
다만 strength를 높인다고 무조건 LoRA 품질이 좋아지는 것은 아니다. 지나치게 강한 값에서는 특정 특징이 과장되거나 이미지가 불안정해질 수도 있으므로 LoRA 제작자가 제공하는 권장 설정과 실제 결과를 함께 확인해야 한다.
LoRA와 checkpoint를 구분하면 구조가 쉬워진다
처음 ComfyUI를 사용할 때 LoRA를 이해하기 어려운 이유는 checkpoint와 LoRA가 모두.safetensors 형태로 배포되는 경우가 있기 때문이다.
하지만 역할을 기준으로 나누면 단순하다. checkpoint는 생성 모델의 기반이고, LoRA는 그 기반을 특정 목적에 맞게 수정하기 위해 추가하는 비교적 작은 weight다.
그래서 LoRA를 고를 때는 파일명만 확인하지 말고 어떤 base model을 요구하는지 먼저 보는 습관이 중요하다. SDXL용, FLUX용처럼 대상 모델이 구분되는 것도 이 때문이다.
마지막 확인
LoRA의 뜻은 Low-Rank Adaptation이다. 기존 모델 전체를 다시 학습하는 대신 원래 weight는 유지하면서 상대적으로 작은 추가 행렬을 학습해 모델을 특정 방향으로 적응시키는 방식이다.
ComfyUI에서는 이 결과를 LoRA 파일로 불러와 base model 위에 적용한다. LoRA를 처음 사용할 때는 먼저 호환되는 base model을 확인하고, 그다음 Load LoRA에서 strength를 조절하는 순서로 접근하면 checkpoint와 LoRA의 차이를 훨씬 쉽게 이해할 수 있다.