Chain-of-Embedding, LLM이 답을 출력하지 않고 스스로 평가하는 방법

LLM의 답이 맞는지 다시 확인하려면 보통 모델에게 “이 답이 맞는가?”라고 한 번 더 물어보는 방식을 떠올립니다. 하지만 이런 방식은 추가 출력을 생성해야 하고, self-evaluation을 위해 다시 inference 비용이 들어갑니다.

ICLR 2025에 발표된 Latent Space Chain-of-Embedding Enables Output-free LLM Self-Evaluation은 다른 접근을 제안합니다. 핵심은 LLM이 답을 생성한 뒤 별도의 평가 문장을 출력하게 하지 않고, 처음 inference 과정에서 이미 만들어진 hidden state의 변화만으로 응답의 정확성을 추정하는 것입니다.

latent space chain-of-embedding enables output-f에서 가장 먼저 볼 변화

Chain-of-Embedding은 hidden state의 연속 경로다

LLM은 토큰을 하나씩 생성할 때 내부적으로 hidden state를 계속 만듭니다. 논문은 이 inference 과정에서 만들어지는 progressive hidden states 전체를 연결해 Chain-of-Embedding, 줄여서 CoE라고 부릅니다.

연구진은 이 CoE를 LLM 내부에서 입력에서 출력 방향으로 진행되는 일종의 latent thinking path로 해석합니다.

하나의 embedding만 보는 방식과 다르다

여기서 중요한 것은 마지막 hidden state 하나만 가져오는 것이 아니라는 점입니다.

LLM이 응답을 만들어가는 동안 embedding이 어떻게 연속적으로 변화하는지를 추적합니다. 따라서 CoE는 하나의 고정된 벡터라기보다 inference 과정에서 형성되는 embedding의 연속적인 궤적에 가깝습니다.

개념적으로 정리하면 다음과 같습니다.

입력 → hidden state → hidden state → hidden state → 출력

이때 중간에서 만들어진 representation들의 연속적인 변화를 CoE로 사용하는 것입니다.

논문의 출발점은 단순합니다. 모델이 정답을 생성할 때와 오답을 생성할 때 이 내부 경로에도 차이가 나타난다면, 최종 문장을 다시 평가하지 않고도 그 차이를 이용할 수 있다는 것입니다.

정답과 오답에서는 CoE 패턴이 달라졌다

latent space chain-of-embedding enables output-f가 ComfyUI 워크플로우에 미치는 영향

연구진은 LLM이 올바르게 답했을 때와 잘못 답했을 때 CoE feature가 서로 다른 패턴을 보인다고 보고했습니다.

기존 방식과 비교해야 할 부분

즉 최종적으로 생성된 문장만 놓고 판단하는 대신, 그 답에 도달하기까지 hidden state가 어떻게 변화했는지를 self-evaluation 신호로 활용하는 것입니다.

Output-free의 의미는 ‘출력을 아예 생성하지 않는다’가 아니다

여기에서 output-free라는 표현은 주의해서 읽어야 합니다.

LLM이 사용자에게 줄 원래 응답까지 생성하지 않는다는 뜻이 아닙니다. 응답의 정확성을 평가하기 위해 별도의 자연어 평가 출력을 추가로 생성하지 않는다는 의미에 가깝습니다.

기존 self-evaluation에서는 다음과 같은 추가 과정이 필요할 수 있습니다.

질문 → 답변 생성 → 평가 프롬프트 → 평가 답변 생성

CoE가 노리는 흐름은 다릅니다.

질문 → 답변 생성 + 내부 hidden state 추적 → 정확성 추정

즉 이미 inference 과정에서 만들어지는 latent information을 다시 활용한다는 것이 핵심입니다.

CoE는 별도의 정답 라벨이나 학습을 요구하지 않는다

성능과 결과 품질에서 확인할 차이

논문은 CoE를 label-free이면서 training-free인 방법으로 제시합니다.

워크플로우 구성에서 놓치기 쉬운 부분

새로운 평가 모델을 따로 학습하거나 정답·오답 데이터를 이용해 classifier를 다시 훈련시키는 구조가 아니라, 기존 LLM의 inference-time hidden state에서 feature를 추출해 활용하는 접근입니다.

실험은 서로 다른 네 개의 도메인과 일곱 개의 LLM을 대상으로 진행됐으며, 연구진은 CoE feature를 이용한 self-evaluation의 효과를 보고했습니다.

실시간 평가를 노린 낮은 추가 비용

논문에서 강조하는 또 하나의 특징은 computational cost입니다.

CoE는 별도의 장문 평가 응답을 생성하는 방식이 아니기 때문에 추가 계산 비용을 크게 줄이는 방향을 노립니다. 연구진은 millisecond-level computational cost를 보고하며 대규모 환경에서 real-time feedback에 활용할 가능성을 제시했습니다.

따라서 이 연구의 포인트는 self-evaluation 정확도만이 아니라, LLM 서비스에서 매 응답마다 별도의 judge generation을 붙이지 않아도 되는 구조에 있습니다.

Stable Diffusion의 Latent Space와는 다른 이야기다

제목에 Latent Space가 들어가기 때문에 ComfyUI나 Stable Diffusion의 latent와 연결해서 생각하기 쉽습니다.

하지만 여기서 latent space는 VAE가 이미지를 압축한 latent image 공간을 의미하지 않습니다. 대상은 LLM 내부의 hidden representation입니다.

ComfyUI에서는 보통 다음과 같은 흐름을 말합니다.

실제로 적용할 때 체크할 점

IMAGE → VAE Encode → LATENT → diffusion → VAE Decode

반면 Chain-of-Embedding에서 추적하는 것은 언어 모델 inference 과정의 hidden states입니다.

둘 다 사람이 직접 보는 최종 출력 이전의 내부 representation을 다룬다는 공통점은 있지만, 데이터 구조와 목적은 완전히 다릅니다. 따라서 이 논문을 Stable Diffusion latent 기술로 분류하면 검색 의도가 어긋납니다.

Self-Evaluation의 위치를 출력 내부로 옮긴 접근

일반적인 LLM 평가에서는 모델이 만든 결과물을 외부에서 다시 판단하는 방식이 많습니다. 다른 모델을 judge로 사용하거나, 같은 모델에게 결과를 다시 읽고 점수를 매기게 할 수 있습니다.

CoE는 평가 신호를 출력 이후가 아니라 출력을 만드는 과정 내부에서 찾으려는 접근입니다.

이 관점이 중요합니다. LLM이 자신의 응답이 틀렸는지 판단할 수 있는 정보가 최종 텍스트에만 존재하는 것이 아니라, 응답을 생성하는 동안 hidden state가 변화하는 방식에도 포함될 수 있다는 것을 실험적으로 분석하기 때문입니다.

다만 이를 LLM이 사람처럼 자신의 생각을 직접 들여다보고 판단한다고 해석할 필요는 없습니다. CoE는 모델 내부 representation의 패턴 차이를 self-evaluation에 활용하는 방법입니다.

마지막 확인

Chain-of-Embedding은 LLM이 답변을 만든 뒤 “내 답이 맞는가?”라는 새로운 문장을 생성하도록 하는 self-evaluation 방식이 아닙니다. inference 과정에서 이미 생성되는 progressive hidden states를 연결해 CoE feature를 만들고, 정답과 오답에서 나타나는 차이를 이용해 응답 정확성을 추정합니다.

output-free를 볼 때는 원래 응답 자체가 사라진다는 뜻이 아니라 별도의 평가용 자연어 출력을 만들지 않는다는 의미로 구분하는 것이 핵심입니다. 그리고 제목의 latent space 역시 Stable Diffusion의 VAE latent가 아니라 LLM 내부 hidden representation을 가리킨다는 점을 함께 확인해야 합니다.