Diffusion 모델의 출력 해상도를 단순히 크게 설정한다고 고해상도 이미지가 안정적으로 나오는 것은 아닙니다. 학습 때 보지 못한 높은 해상도로 바로 생성하면 구조가 무너지거나 같은 물체가 반복되는 문제가 나타날 수 있습니다.
CVPR 2025에 발표된 Latent Space Super-Resolution for Higher-Resolution Image Generation with Diffusion Models는 이 문제를 latent 단계에서 다룹니다. 논문이 제안한 LSRNA의 핵심은 저해상도 이미지를 마지막에 크게 만드는 일반적인 업스케일링이 아니라, 고해상도 diffusion을 안내할 reference latent 자체를 더 적절하게 만드는 것입니다.
latent space super-resolution for higher-resolut에서 가장 먼저 볼 변화
단순 Latent Upscaling은 왜 문제가 될까
고해상도 생성을 위한 reference-based 방식에서는 먼저 모델이 익숙한 해상도로 reference를 만들고, 이를 확대해 더 높은 해상도의 생성 과정을 안내할 수 있습니다.
문제는 낮은 해상도의 latent를 bicubic 같은 방식으로 곧바로 크게 만든다고 해서 그것이 자연스러운 고해상도 latent가 되는 것은 아니라는 점입니다.
논문이 지적한 Manifold Deviation
LSRNA 연구진은 단순하게 확대된 reference latent가 목표 해상도의 manifold에서 벗어나는 현상에 주목했습니다.
이렇게 만들어진 latent를 다음 생성 단계의 reference로 사용하면 처음부터 부정확한 안내가 들어갑니다. 결과적으로 최종 이미지에서도 구조와 품질이 저하될 수 있습니다.
기존 reference-based 방법 가운데 일부는 해상도를 한 번에 크게 올리지 않고 여러 단계에 걸쳐 progressive upscaling을 수행해 이 문제를 완화합니다. 하지만 논문에서는 이런 방식이 inference를 느리게 만들고 단계 사이에서 오류가 누적될 가능성도 지적합니다.
즉 고해상도 생성의 문제를 단순히 “픽셀이 부족하다”로 보면 안 됩니다. 확대된 latent가 이후 diffusion 과정에서 제대로 사용할 수 있는 representation인지도 중요합니다.
RGB Bicubic으로 확대해도 디테일 문제가 남는다
그렇다면 latent를 이미지로 디코딩한 다음 RGB 상태에서 확대하고 다시 latent로 인코딩하면 어떨까요.
논문에서도 이 방법을 비교했습니다. reference latent를 RGB 이미지로 바꾸고 bicubic upsampling을 수행한 뒤 다시 latent space로 넣는 방식입니다.
latent space super-resolution for higher-resolut가 ComfyUI 워크플로우에 미치는 영향
Latent Bicubic과 RGB Bicubic의 차이
기존 방식과 비교해야 할 부분
RGB 공간에서 확대하면 latent를 직접 단순 보간할 때 나타나는 문제를 피할 여지가 있습니다. 그러나 연구진의 비교에서는 결과가 더 부드러워지고 세부 묘사와 sharpness가 감소했습니다.
논문의 비교는 문제를 다음 세 방향으로 나눕니다.
Latent Bicubic → manifold deviation 문제
RGB Bicubic → detail·sharpness 감소
Learned Latent SR → 고해상도 latent에 맞도록 변환
여기에서 중요한 지점은 LSRNA가 “latent 대신 RGB에서 작업하자”는 접근이 아니라는 것입니다. 오히려 고해상도 이미지의 디테일을 유지하려면 latent 공간의 reference가 중요하다는 쪽에 가깝습니다.
LSR은 Latent 자체를 Super-Resolution한다
LSRNA의 첫 번째 구성 요소가 Latent space Super-Resolution, 즉 LSR입니다.
단순 interpolation으로 latent 크기만 키우는 대신, 저해상도 latent representation을 목표가 되는 더 높은 해상도의 latent manifold에 맞게 매핑하도록 학습된 모듈을 사용합니다.
픽셀 업스케일러와 목적이 다르다
성능과 결과 품질에서 확인할 차이
일반적인 이미지 super-resolution의 입력과 출력은 사람이 볼 수 있는 RGB 이미지인 경우가 많습니다.
워크플로우 구성에서 놓치기 쉬운 부분
반면 여기에서 LSR의 목적은 최종 JPEG를 바로 선명하게 만드는 것이 아닙니다. 이후 고해상도 diffusion 과정에 reference로 들어갈 latent를 개선하는 것입니다.
따라서 흐름을 단순화하면 다음과 같이 볼 수 있습니다.
저해상도 생성 → reference latent → LSR → 고해상도 reference latent → 추가 diffusion
논문은 이 learned latent upsampling이 단순 latent bicubic보다 목표 manifold에 더 잘 맞도록 설계됐다고 설명합니다.
이 차이 때문에 제목에 들어간 Latent Space Super-Resolution을 일반적인 ESRGAN류의 최종 이미지 업스케일링과 같은 의미로 보면 안 됩니다.
RNA는 확대 후 부족한 디테일을 보완한다
LSRNA에는 LSR만 있는 것이 아닙니다. 두 번째 핵심 구성 요소가 Region-wise Noise Addition, RNA입니다.
LSR을 거쳐 reference latent의 구조를 맞추더라도 높은 해상도에서는 새롭게 만들어야 할 세부 정보가 존재합니다. RNA는 업샘플된 reference latent의 특정 영역에 Gaussian noise를 적응적으로 추가하고 이후 denoising 과정에서 고주파 디테일이 생성될 여지를 만듭니다.
SDEdit처럼 noise를 추가한 뒤 다시 denoising한다는 아이디어와 연결되지만, LSRNA에서는 모든 위치에 동일하게 noise를 넣는 것이 아니라 region-wise 방식으로 적용합니다.
결국 두 모듈의 역할은 나눠서 보는 편이 쉽습니다.
실제로 적용할 때 체크할 점
LSR: 확대된 latent를 목표 manifold에 맞추는 역할
RNA: 이후 생성 과정에서 세부 디테일을 만들 수 있도록 noise를 추가하는 역할
논문에서는 두 요소를 결합한 LSRNA가 여러 해상도와 평가 지표에서 기존 reference-based 방법보다 좋은 결과를 보였다고 보고했습니다.
ComfyUI Latent Upscale과 같은 기능은 아니다
ComfyUI 사용자라면 이름 때문에 Latent Upscale 노드나 일반적인 hires workflow와 바로 연결해서 생각할 수 있습니다.
하지만 LSRNA의 LSR은 단순히 기존 latent의 width와 height를 키우는 연산을 뜻하지 않습니다. 학습된 latent super-resolution 모듈로 저해상도 representation을 더 높은 해상도 manifold에 맞추는 것이 핵심입니다.
따라서 논문의 결과를 보고 “ComfyUI에서 latent를 bicubic으로 키우면 같은 효과가 난다”고 받아들이면 방향이 반대가 됩니다. 연구진이 출발점에서 문제로 지적한 것 자체가 바로 단순 latent upsampling이 일으키는 manifold deviation입니다.
이 연구가 보여주는 실사용 포인트는 특정 업스케일 배율보다 고해상도 diffusion에서 어떤 reference를 다음 단계에 전달할 것인가에 있습니다.
마지막 확인
LSRNA의 Latent Space Super-Resolution은 완성된 저해상도 이미지를 마지막에 선명하게 키우는 기술이 아닙니다. 저해상도 reference latent를 고해상도 생성 과정에 사용할 수 있도록 학습된 방식으로 super-resolution한 뒤, RNA를 통해 세부 정보가 생성될 여지를 추가하는 구조입니다.
관련 워크플로우나 구현을 볼 때는 Latent Bicubic과 Latent Super-Resolution을 같은 것으로 취급하지 않는 것이 첫 번째 체크포인트입니다. 특히 ComfyUI에서 비슷한 구조를 해석한다면 최종 RGB 업스케일인지, 단순 latent resize인지, 고해상도 diffusion 이전의 learned latent SR인지부터 구분해야 합니다.