ComfyUI에서 VAE 모델을 찾다 보면 TAESD라는 이름을 볼 수 있다. 일반적인 Stable Diffusion VAE와 마찬가지로 latent와 이미지를 변환하지만, 만들어진 목적과 구조는 상당히 다르다.
TAESD는 Tiny AutoEncoder for Stable Diffusion의 약자다. 핵심은 고품질 VAE를 또 하나 추가하는 것이 아니라, Stable Diffusion의 latent를 빠르게 확인하기 위해 매우 작게 만든 autoencoder라는 점이다.
vae 모델에서 가장 먼저 볼 변화
TAESD는 빠른 latent 미리보기를 위한 VAE다
Stable Diffusion은 생성 과정에서 RGB 이미지 자체를 계속 수정하는 것이 아니라 latent 공간에서 계산한다. 최종적으로 사람이 볼 수 있는 이미지가 필요할 때 VAE가 latent를 RGB 이미지로 Decode한다.
문제는 일반 VAE Decode도 연산 비용이 있다는 점이다. 생성 중간 단계의 상태를 자주 미리보고 싶다면 매번 전체 VAE를 사용하는 것이 부담이 될 수 있다.
Tiny AutoEncoder라는 이름 그대로 작게 만든다
TAESD는 Stable Diffusion VAE와 같은 latent 인터페이스를 사용하도록 만들어진 작은 autoencoder다.
Diffusers에서도 AutoencoderTiny라는 별도 모델 클래스로 제공되며, 빠르게 latent를 decode하는 용도로 설명된다. 특히 생성 과정의 실시간 preview가 대표적인 활용 목적이다.
즉 TAESD의 장점은 “기존 VAE보다 무조건 좋은 그림을 만든다”가 아니라 이미지 확인 과정의 비용을 줄이는 데 있다.
일반 VAE와 TAESD는 목적부터 다르다
일반 Stable Diffusion VAE는 학습된 latent 표현과 실제 RGB 이미지 사이를 비교적 충실하게 변환하는 역할을 한다.
반면 TAESD는 훨씬 작은 구조를 사용한다. 그만큼 빠른 처리가 가능하지만 원래 VAE의 복원 결과를 완전히 동일하게 재현하는 것을 목표로 한 모델은 아니다.
vae 모델가 ComfyUI 워크플로우에 미치는 영향
최종 화질 비교와 Preview 용도를 구분한다
기존 방식과 비교해야 할 부분
이 차이는 ComfyUI에서 특히 중요하다. 워크플로우가 정상적으로 돌아가는지 확인하거나 생성 중간 상태를 보는 것이 목적이라면 빠른 approximate VAE가 유용하다.
하지만 최종 이미지를 저장하면서 원래 모델의 VAE 결과를 정확히 보고 싶다면 해당 모델에 맞는 정식 VAE를 사용하는 편이 기준이 된다.
따라서 TAESD를 사용한 preview에서 색이나 세부 표현이 조금 달라 보인다고 해서 KSampler 결과 자체가 달라졌다고 바로 판단할 필요는 없다.
Sampler가 만든 latent와 그것을 화면에 보여주는 decoder는 구분해서 봐야 한다.
ComfyUI는 TAESD를 별도로 인식한다
현재 ComfyUI의 VAELoader 구현은 일반 vae 파일뿐 아니라 vae_approx에 있는 approximate VAE도 확인한다.
TAESD는 encoder와 decoder 파일이 모두 존재하면 VAELoader에서 하나의 VAE 선택지로 구성할 수 있도록 처리된다.
구조적으로는 다음 두 파일이 한 쌍을 이룬다.
taesd_encoder.*
성능과 결과 품질에서 확인할 차이
taesd_decoder.*
워크플로우 구성에서 놓치기 쉬운 부분
ComfyUI가 둘을 확인하면 taesd라는 VAE 구성을 사용할 수 있도록 로드한다.
일반 models/vae와 vae_approx의 역할이 다르다
일반적인 독립 VAE 파일은 models/vae에서 관리된다. 반면 TAESD처럼 preview에 사용되는 approximate VAE 구성은 ComfyUI 내부에서 vae_approx 경로로 따로 처리된다.
따라서 일반 VAE 파일 하나를 VAELoader에 넣는 방식과 TAESD encoder·decoder 파일을 인식시키는 구조를 완전히 같은 설치 방식으로 생각하지 않는 편이 좋다.
특히 TAESD 파일을 받았는데 일반 VAE처럼 단일 safetensors 파일 하나만 찾고 있다면 어떤 형태로 배포된 파일인지 먼저 확인해야 한다.
SDXL에서는 TAESDXL을 구분해야 한다
TAESD 역시 모든 Stable Diffusion 계열에서 하나의 파일을 공통으로 쓰는 구조는 아니다.
TAESD 제작자는 SDXL에는 별도의 TAESDXL을 사용해야 한다고 명시하고 있다. Stable Diffusion 계열과 SDXL의 VAE가 호환되지 않기 때문이다.
현재 ComfyUI 구현에서도 taesd와 taesdxl을 별개의 approximate VAE로 구분한다. 이름이 비슷하다는 이유로 SDXL 워크플로우에 일반 TAESD를 적용하는 방식은 피해야 한다.
실제로 적용할 때 체크할 점
이는 일반 VAE에서 모델 계열을 확인해야 하는 것과 같은 원칙이다. 작은 preview용 VAE라고 해서 latent 호환성 규칙까지 사라지는 것은 아니다.
TAESD가 필요한 사용자는 따로 있다
한 장씩 최종 이미지만 생성하는 사용자라면 TAESD를 반드시 사용할 이유는 크지 않다. 모델이 권장하는 VAE로 마지막 Decode를 수행하면 된다.
반대로 다음처럼 생성 과정 자체를 자주 확인하는 경우에는 의미가 커진다.
생성 중 latent preview를 빠르게 확인하는 경우
반복 실행이 많은 워크플로우를 디버깅하는 경우
최종 화질보다 중간 구도와 형태 확인이 중요한 경우
이때 TAESD는 완성 VAE를 대체하는 모델이라기보다 작업 과정의 빠른 시각 확인을 위한 도구에 가깝다.
VAE 모델을 고를 때 TAESD와 일반 VAE를 구분한다
ComfyUI에서 VAE 모델이라고 표시된다고 해서 모두 같은 목적을 가진 것은 아니다. TAESD는 Stable Diffusion latent를 빠르게 Encode·Decode할 수 있도록 작게 만든 Tiny AutoEncoder이며 실시간 preview가 대표적인 사용 목적이다.
최종 이미지의 복원 품질을 판단하려면 현재 모델이 권장하는 정식 VAE를 기준으로 보고, 빠른 미리보기가 필요할 때 TAESD를 활용하는 식으로 역할을 나누는 것이 좋다. SDXL을 사용한다면 TAESD가 아니라 TAESDXL처럼 현재 모델 계열에 맞는 버전인지도 함께 확인하자.