본문 바로가기
카테고리 없음

LTX-2.5 ComfyUI VAE가 사라졌나? Diffusion Video Decoder 변화

by GoingProdo 2026. 8. 18.

LTX-2.5에서 눈여겨볼 변화 중 하나는 생성 모델 자체보다 마지막 영상을 복원하는 방식이다. 기존 LTX 계열에서 익숙했던 VAE 디코딩 단계에 Diffusion Video Decoder가 들어오면서, 얼굴이나 작은 텍스트, 빠르게 움직이는 장면을 복원하는 방식이 달라졌다.

여기서 바로 생기는 질문이 있다. "그러면 LTX-2.5에서는 VAE가 사라진 것인가?" 결론부터 말하면 아니다. VAE의 역할이 없어졌다기보다 최종 복원 단계가 확장된 것으로 이해하는 편이 정확하다.

vae관련 혹은 인코더 관련에서 가장 먼저 볼 변화

LTX-2.5는 왜 일반 VAE Decode를 바꿨나

일반적인 latent 기반 생성 모델에서는 픽셀 상태의 이미지나 영상을 작은 latent 표현으로 압축한 뒤, 모델이 이 공간에서 생성 작업을 수행한다. 마지막에는 VAE Decoder가 latent를 다시 사람이 볼 수 있는 픽셀 영상으로 복원한다.

문제는 압축률이 높아질수록 복원하기 어려운 정보가 생긴다는 점이다. 특히 얼굴의 미세한 윤곽이나 작은 글자, 복잡한 표면 질감처럼 픽셀 단위 정밀도가 필요한 영역에서 차이가 눈에 띌 수 있다.

LTX-2.5는 이 마지막 단계에 Diffusion Video Decoder를 도입했다. ComfyUI의 공식 LTX-2.5 발표에서도 이를 기존 standard VAE decoding을 대체하는 주요 변경점으로 소개하고 있다.

한 번에 복원하는 대신 단계적으로 디테일을 만든다

핵심 차이는 복원 과정이다. 전통적인 VAE Decoder가 압축된 latent를 픽셀로 변환하는 데 집중한다면, LTX-2.5의 새로운 디코딩 방식은 diffusion 과정을 이용해 세부 정보를 단계적으로 복원한다.

따라서 단순히 "새 VAE가 화질이 더 좋다" 정도의 업데이트와는 성격이 다르다. 영상 생성 파이프라인의 마지막 reconstruction 자체에 추가적인 생성 계산이 들어간 것에 가깝다.

vae관련 혹은 인코더 관련가 ComfyUI 워크플로우에 미치는 영향

이 차이는 얼굴 클로즈업이나 작은 물체가 많은 장면처럼 압축 손실이 눈에 잘 띄는 영상에서 의미가 커진다. LTX 측은 얼굴의 세부 묘사, 화면 속 문자와 표지판, 빠른 움직임에서 발생하는 번짐과 아티팩트 개선을 Diffusion Video Decoder의 주요 효과로 설명한다.

기존 방식과 비교해야 할 부분

그렇다면 LTX-2.5에서는 VAE가 필요 없을까

여기서 가장 많이 오해할 만한 부분이 있다. Diffusion Video Decoder가 들어왔다고 VAE 전체가 제거된 것은 아니다.

VAE에는 크게 encode와 decode라는 두 방향이 있다. 이미지나 영상을 latent로 압축할 때는 encoder가 필요하고, latent를 픽셀 영역으로 되돌릴 때 decoder가 관여한다.

Image-to-Video에서는 VAE Encode가 여전히 중요하다

예를 들어 LTX-2.5 Image-to-Video에서는 입력 이미지 자체를 모델이 바로 처리하는 것이 아니다. 먼저 VAE가 입력 이미지를 latent representation으로 인코딩하고, 이 latent가 영상 생성의 conditioning으로 사용된다.

즉 ComfyUI에서 I2V 워크플로우를 구성한다면 "새 디코더가 있으니 VAE를 빼도 된다"는 식으로 생각하면 안 된다. 입력 이미지를 latent 공간으로 가져오는 과정에는 여전히 VAE가 중요한 역할을 맡는다.

성능과 결과 품질에서 확인할 차이

LTX-2.5를 이해할 때는 VAE Encode와 최종 Video Decode를 따로 생각하는 것이 가장 쉽다. encode까지 diffusion decoder로 대체된 것이 아니라, 특히 최종 영상 reconstruction 쪽이 크게 변경된 것이다.

워크플로우 구성에서 놓치기 쉬운 부분

ComfyUI 워크플로우에서는 무엇이 달라지나

LTX-2.5는 2026년 8월 공개와 동시에 ComfyUI 네이티브 지원이 추가됐다. ComfyUI 공식 안내에서는 발표 당시 ComfyUI 0.32.0으로 업데이트한 뒤 LTX-2.5 템플릿을 불러오는 방식을 안내했다.

기존 워크플로우를 임의로 LTX-2.5 체크포인트만 바꿔 끼우는 것보다 공식 T2V 또는 I2V 템플릿에서 시작하는 편이 안전하다. LTX-2.5는 transformer뿐 아니라 VAE와 text encoder, 새로운 decoder 등 여러 구성 요소가 함께 바뀐 릴리스이기 때문이다.

영상 VAE와 오디오 VAE도 구분해야 한다

LTX 계열은 영상과 오디오를 함께 생성하는 구조를 사용한다. LTX의 기술 설명에 따르면 영상과 오디오는 각각 신호 특성에 맞는 별도의 VAE를 사용한다.

따라서 커스텀 ComfyUI 워크플로우를 직접 수정한다면 VAE를 하나의 범용 파일로 보는 습관도 피하는 편이 좋다. 특히 audio-video workflow에서는 어떤 VAE가 어떤 latent stream에 연결되는지 확인해야 한다.

실제로 적용할 때 체크할 점

반대로 단순히 공식 LTX-2.5 템플릿을 사용하는 경우라면 처음부터 내부 구조를 전부 다시 설계할 필요는 없다. 먼저 제공되는 템플릿이 정상 실행되는 상태를 만든 뒤, VAE나 conditioning 구간을 하나씩 수정하는 방식이 오류 원인을 찾기 쉽다.

Diffusion Video Decoder가 중요한 이유

이번 변화는 단순한 노드 이름 변경보다 의미가 크다. 생성 모델이 아무리 좋은 latent를 만들더라도 마지막 픽셀 복원 과정에서 세부 정보가 뭉개진다면 최종 영상 품질에는 한계가 생긴다.

LTX-2.5는 이 reconstruction 단계에 별도의 diffusion 기반 처리를 넣어 그 병목을 줄이려는 방향을 택했다. 특히 얼굴, 복잡한 질감, 화면 속 작은 문자, 빠른 동작처럼 VAE 압축과 복원 품질 차이가 드러나기 쉬운 요소가 주요 대상이다.

다만 이것을 모든 영상이 무조건 선명해지는 기능으로 이해해서는 안 된다. 최종 품질은 프롬프트, 생성 모델, 해상도, conditioning, sampling과 입력 이미지 품질 등 여러 단계에 영향을 받는다. 새로운 decoder는 그중 마지막 복원 단계의 품질을 개선하는 구성 요소다.

마지막 확인

LTX-2.5에서 "VAE가 없어졌다"라고 정리하면 정확하지 않다. VAE를 통한 latent 인코딩 구조는 여전히 중요하며, 달라진 핵심은 기존의 단순 VAE reconstruction 대신 diffusion 기반 최종 영상 복원이 추가됐다는 점이다.

ComfyUI에서 LTX-2.5를 처음 테스트한다면 최신 ComfyUI로 업데이트한 뒤 공식 LTX-2.5 T2V 또는 I2V 템플릿부터 실행하는 것이 좋다. 이후 커스텀 워크플로우를 만들 때 VAE Encode, Video Decode, Audio VAE를 각각 별개의 역할로 나누어 보면 구조를 훨씬 쉽게 파악할 수 있다.