Stable Diffusion용 VAE를 설치하려고 검색하면 sd-vae-ft-mse, vae-ft-mse-840000-ema-pruned,.ckpt,.safetensors처럼 비슷한 이름이 한꺼번에 나온다. 파일을 어디에 넣는지는 간단하지만, 그전에 어떤 VAE 파일을 다운로드하고 있는지부터 구분하는 편이 좋다.
SD1.5 계열에서 자주 언급되는 대표적인 외부 VAE 중 하나가 Stability AI의 sd-vae-ft-mse다. 공식 저장소에는 Diffusers용 구성뿐 아니라 원본 체크포인트 형태도 제공되므로, ComfyUI에서 단일 VAE 파일을 사용하려는 경우 파일 형식을 먼저 확인해야 한다.
스테이블 디퓨전 vae 설치에서 가장 먼저 볼 변화
sd-vae-ft-mse는 어떤 VAE인가
Stability AI의 VAE 설명에는 기존 Stable Diffusion autoencoder를 기반으로 추가 학습한 ft-EMA와 ft-MSE가 구분되어 있다.
ft-EMA는 기존 체크포인트에서 추가 학습된 버전이고, ft-MSE는 다시 ft-EMA에서 이어 학습됐다. ft-MSE는 reconstruction loss에서 MSE 비중을 높였으며 공식 설명에서는 결과가 다소 더 부드럽게 복원되는 특성이 언급된다.
전체 Stable Diffusion 모델을 받는 것은 아니다
sd-vae-ft-mse는 Stable Diffusion 1.5 전체 checkpoint를 대체하는 파일이 아니다.
공식 설명에서는 호환성을 유지하기 위해 decoder 부분만 fine-tuning했다고 밝히고 있다. 따라서 이를 v1-5-pruned 같은 생성 모델 대신 checkpoints 폴더에 넣는 방식으로 이해하면 안 된다.
ComfyUI에서는 기존 checkpoint 또는 diffusion model은 그대로 두고, 필요한 경우 별도의 VAE로 불러와 Decode 단계에서 사용하는 구성이다.
ckpt와 safetensors 중 무엇을 받아야 하나
공식 sd-vae-ft-mse-original 파일 목록을 보면 대표적으로 다음 두 형식을 확인할 수 있다.
vae-ft-mse-840000-ema-pruned.ckpt
스테이블 디퓨전 vae 설치가 ComfyUI 워크플로우에 미치는 영향
vae-ft-mse-840000-ema-pruned.safetensors
기존 방식과 비교해야 할 부분
둘은 이름이 거의 같지만 컨테이너 형식이 다르다.
ComfyUI에서는 safetensors를 우선 확인한다
ComfyUI는 모델 파일을 다룰 때.safetensors 같은 안전한 모델 형식을 널리 사용한다. 현재 공식 워크플로우 템플릿에서도 safetensors가 안전한 모델 형식으로 취급된다.
따라서 동일한 VAE의 공식 safetensors 버전이 제공된다면 ComfyUI용으로는 vae-ft-mse-840000-ema-pruned.safetensors를 우선 선택하기 쉽다.
반대로.ckpt가 무조건 잘못된 파일이라는 뜻은 아니다. 중요한 것은 같은 이름을 보고 두 파일을 동시에 받을 필요가 없다는 점이다.
특히 오래된 설치 가이드에서는 ckpt 링크만 남아 있는 경우가 있으므로, 실제 공식 저장소의 Files 목록에서 safetensors 버전이 제공되는지도 확인하는 편이 좋다.
다운로드한 VAE는 models/vae에 넣는다
ComfyUI에서 독립 VAE 파일을 관리하는 기본 위치는 다음과 같다.
ComfyUI/models/vae/
성능과 결과 품질에서 확인할 차이
따라서 다운로드한 vae-ft-mse-840000-ema-pruned.safetensors를 이 폴더에 배치하면 된다.
워크플로우 구성에서 놓치기 쉬운 부분
Portable 환경에서는 일반적으로 ComfyUI 설치 디렉터리 내부의 models 폴더를 사용한다. Desktop은 실제 models 경로가 다를 수 있으므로 프로그램에서 현재 models 폴더를 직접 여는 방식으로 확인하는 편이 정확하다.
checkpoints 폴더와 혼동하지 않는다
파일 이름에 checkpoint라는 표현이 등장하거나 확장자가 기존 Stable Diffusion 모델과 같더라도 역할은 VAE다.
따라서 일반적인 ComfyUI 구성에서는 다음처럼 구분한다.
Stable Diffusion checkpoint → models/checkpoints
외부 VAE → models/vae
파일을 넣은 위치에 따라 각 loader가 표시하는 모델 목록이 달라진다.
VAE를 설치한 뒤에는 VAELoader의 vae_name 목록에서 해당 파일이 보이는지 확인하면 설치 여부를 빠르게 판단할 수 있다.
WebUI와 VAE 모델 폴더를 공유할 수 있다
실제로 적용할 때 체크할 점
이미 AUTOMATIC1111 계열 WebUI에 VAE를 설치해두었다면 ComfyUI 폴더로 같은 파일을 다시 복사하지 않고 모델 경로를 공유하는 구성도 가능하다.
ComfyUI의 extra_model_paths.yaml에서는 별도의 VAE 경로를 지정할 수 있다. 공식 설정 예시에도 다른 UI의 models/VAE 디렉터리를 VAE 검색 경로로 연결하는 구성이 포함되어 있다.
여러 UI를 동시에 사용하면서 모델 용량이 커지고 있다면 이 방식이 중복 파일을 줄이는 데 유용하다. 다만 경로 설정을 변경한 경우에는 ComfyUI가 새로운 설정을 읽도록 재시작이 필요할 수 있다.
ft-MSE와 모델 계열 호환성을 구분한다
sd-vae-ft-mse가 Stable Diffusion에서 널리 사용되는 VAE라고 해서 최신 모든 모델에 공통으로 연결하는 파일은 아니다.
SDXL이나 FLUX처럼 다른 모델 계열은 각각 별도의 VAE 구조와 공식 구성을 사용한다. 특히 FLUX는 공식 ComfyUI 워크플로우에서 ae.safetensors를 사용하는 등 SD1.x VAE와 구조가 다르다.
따라서 다운로드 전에 자신이 사용하는 checkpoint가 어떤 계열인지 먼저 확인해야 한다. SD1.x용 VAE를 찾고 있는 상황과 SDXL·FLUX VAE를 찾는 상황을 같은 설치 문제로 보면 안 된다.
Stable Diffusion VAE 설치는 파일 선택부터 확인한다
SD1.5 계열에서 Stability AI의 ft-MSE VAE를 설치하려는 경우라면 먼저 공식 sd-vae-ft-mse 계열 저장소에서 파일을 확인한다. ComfyUI에서 단일 파일로 사용할 목적이라면 공식적으로 제공되는 vae-ft-mse-840000-ema-pruned.safetensors 같은 파일을 구분해서 받으면 된다.
그다음 파일을 ComfyUI/models/vae에 배치하고 VAELoader 목록에서 인식되는지 확인한다. 설치가 끝났다고 바로 모든 체크포인트에 적용하기보다 현재 모델이 SD1.x 계열인지, 별도로 권장되는 VAE가 있는지까지 확인한 뒤 연결하는 것이 안전하다.