Fish Audio S2 Pro 로컬 TTS, ComfyUI에서 쓸 때 확인할 점

이미지 생성 모델을 ComfyUI에서 다루던 사용자라면 이제 음성도 같은 워크플로우 안에 넣고 싶어질 수 있다. 2026년 공개된 Fish Audio S2 Pro는 이런 용도에서 주목할 만한 오픈소스 계열 TTS 모델이다.

다만 모델을 다운로드한 뒤 일반 Checkpoint처럼 ComfyUI에 넣으면 바로 동작하는 구조는 아니다. 실제로 확인해야 할 부분은 음질 자체보다 VRAM, 별도 추론 환경, 음성 제어 방식, 그리고 ComfyUI 커스텀 노드의 구현 상태다.

오디오 모델에서 가장 먼저 볼 변화

Fish Audio S2 Pro에서 가장 달라진 부분

Fish Audio S2 Pro는 단순히 텍스트를 읽는 TTS보다 표현 제어에 초점을 맞춘 모델이다. 공식 모델은 1000만 시간 이상 규모의 오디오 데이터를 기반으로 학습됐으며, 다국어 음성 생성과 감정·운율 제어, 여러 화자가 이어지는 대화 생성 등을 지원한다.

특히 흥미로운 부분은 문장 전체에 하나의 스타일을 적용하는 데 그치지 않고, 음성 흐름 중간에 세밀한 표현 변화를 넣을 수 있다는 점이다. 기술 보고서에서는 자연어 기반 지시와 멀티스피커·멀티턴 생성을 주요 기능으로 설명하고 있다.

감정과 운율을 문장 안에서 제어한다

예를 들어 평범하게 읽다가 일부 구간을 속삭이거나 흥분한 분위기로 바꾸는 식의 제어가 가능하다. 공식 저장소도 [whisper], [excited], [angry] 같은 형태의 세밀한 프로소디·감정 제어를 S2 Pro의 핵심 기능으로 소개한다.

영상 제작 관점에서는 이 차이가 꽤 크다. 단순 내레이션을 생성하는 모델이라기보다 캐릭터 대사, 오디오북, I2V 영상의 대화 트랙처럼 연기 정보까지 포함한 음성 생성기에 가깝게 활용할 수 있기 때문이다.

기존 TTS에서 감정별 음성을 따로 생성한 뒤 편집하던 작업을 한 번의 음성 생성 과정으로 줄일 가능성이 생긴 셈이다. 특히 긴 대사를 여러 조각으로 나눌수록 발생하기 쉬운 음색 변화도 워크플로우 설계에 따라 줄일 수 있다.

오디오 모델가 ComfyUI 워크플로우에 미치는 영향

로컬 실행에서는 VRAM부터 확인해야 한다

기존 방식과 비교해야 할 부분

S2 Pro를 로컬에서 실행하려는 경우 가장 먼저 볼 것은 GPU 메모리다. 공식 Fish Speech 추론 문서는 최소 24GB급 GPU를 권장하고 있다.

따라서 12GB나 16GB GPU에서 Stable Diffusion을 무리 없이 돌렸다고 해서 S2 Pro도 같은 방식으로 사용할 수 있다고 생각하면 곤란하다. 실제 공식 저장소 이슈에도 16GB VRAM 환경에서 모델이 올라가지 않아 양자화와 최적화를 요청한 사례가 올라와 있다.

16GB GPU 사용자는 특히 주의

현재 기준으로는 16GB 이하 GPU에서 원본 S2 Pro를 여유 있게 사용하는 것을 기본 전제로 워크플로우를 설계하지 않는 편이 안전하다. VRAM 절약형 구현이나 별도의 양자화 버전을 사용한다면 상황이 달라질 수 있지만, 이는 공식 기본 추론 환경과 구분해서 봐야 한다.

공식 배포 모델 자체도 약 5B 규모로 등록돼 있으며, 로컬 실행은 일반적인 이미지 생성 Checkpoint 하나를 불러오는 것보다 훨씬 무거운 파이프라인으로 생각하는 편이 정확하다.

성능과 결과 품질에서 확인할 차이

24GB 이상 GPU에서는 스트리밍 활용 폭이 넓어진다

워크플로우 구성에서 놓치기 쉬운 부분

반대로 24GB 이상 NVIDIA GPU를 사용한다면 이야기가 달라진다. Fish Audio는 SGLang 기반 스트리밍 추론 엔진까지 공개했고, 기술 보고서에서는 첫 오디오 출력까지의 지연을 100ms 미만으로 측정한 결과도 제시했다. 이는 실시간에 가까운 음성 응답 시스템을 만들려는 사용자에게 중요한 변화다.

ComfyUI에서는 커스텀 노드가 중간 다리가 된다

Fish Audio 공식 프로젝트는 기본적으로 독립적인 Fish Speech 추론 환경을 제공한다. ComfyUI에서 사용하려면 별도의 커스텀 노드를 통해 모델을 연결하는 방식이 현실적이다.

현재 GitHub에는 Fish Audio S2 Pro를 ComfyUI에 연결하는 전용 커스텀 노드 프로젝트가 공개돼 있다. 해당 구현에서는 TTS뿐 아니라 짧은 레퍼런스 오디오를 이용한 보이스 클로닝, 감정 제어, 멀티스피커 생성 등을 노드 기반으로 묶는 방식을 제공한다.

또 다른 ComfyUI 오디오 통합 노드인 TTS Audio Suite도 Fish Audio S2 Pro를 여러 음성 엔진 가운데 하나로 지원하고 있다. 따라서 ComfyUI 사용자는 현재 단일 공식 노드에 의존한다기보다 목적에 맞는 서드파티 구현을 선택하는 구조에 가깝다.

모델 업데이트와 노드 호환성은 별도로 봐야 한다

실제로 적용할 때 체크할 점

여기서 중요한 점은 Fish Audio 모델과 ComfyUI 노드를 같은 프로젝트로 생각하지 않는 것이다. Fish Audio 쪽 모델이 업데이트돼도 커스텀 노드가 즉시 따라오지 않을 수 있고, 반대로 노드의 requirements가 기존 ComfyUI Python 환경과 충돌할 수도 있다.

실제 워크플로우에서 확인할 항목

가장 먼저 GPU 메모리를 확인한다. 24GB 미만이라면 설치부터 시작하기보다 사용할 노드가 양자화 모델이나 VRAM 절약 옵션을 별도로 지원하는지 확인하는 편이 낫다.

그다음에는 단순 TTS인지 보이스 클로닝인지 목적을 정해야 한다. 캐릭터 음성을 고정해야 한다면 레퍼런스 음성 입력과 voice conditioning을 지원하는 노드가 필요하고, 영상 대화가 목적이라면 멀티스피커 출력이나 화자별 트랙 분리가 가능한지도 확인해야 한다.

마지막으로 라이선스까지 확인한다

마지막으로 상업 프로젝트라면 라이선스를 따로 확인해야 한다. S2 Pro 모델 라이선스는 연구·비상업적 사용과 상업적 사용을 동일하게 취급하지 않으며, 상업적 이용에는 별도 라이선스가 필요하다고 명시하고 있다.

지금 ComfyUI에 음성 생성 파이프라인을 추가하려는 사용자라면 GPU VRAM → 사용할 S2 Pro 커스텀 노드 → 레퍼런스 음성 방식 → 라이선스 순서로 확인하면 된다. 이미지와 영상 생성까지 하나의 워크플로우로 묶으려는 경우라면 Fish Audio S2 Pro는 충분히 검토할 가치가 있지만, 설치 전에 24GB VRAM 조건부터 확인하는 것이 가장 중요하다.