Latent Space Symmetry Discovery, LaLiGAN이 비선형 대칭을 찾는 방법
latent space symmetry discovery는 Stable Diffusion의 latent에서 좌우대칭 이미지를 찾는 기술을 뜻하지 않습니다. 이 표현은 ICML 2024에 발표된 연구 제목으로, 데이터에 숨어 있는 비선형 symmetry를 latent space로 옮겨 발견하는 방법을 다룹니다.
논문이 제안한 모델은 Latent LieGAN, 줄여서 LaLiGAN입니다. 핵심은 복잡한 원본 데이터에서 symmetry를 직접 찾으려 하지 않고, 먼저 latent space로 변환해 그곳에서는 symmetry가 더 단순한 linear action으로 나타나도록 만드는 것입니다.
latent space symmetry discovery에서 가장 먼저 볼 변화
기존 Symmetry Discovery는 왜 어려웠을까
Equivariant neural network를 만들려면 어떤 symmetry group을 보존해야 하는지 미리 알고 있는 경우가 많습니다.
예를 들어 입력이 특정 변환을 받았을 때 출력도 그 변환과 일관되게 바뀌게 만들려면, 모델 설계 단계에서 해당 group action에 대한 정보가 필요합니다.
실제 데이터의 대칭은 비선형일 수 있다
기존 automatic symmetry discovery 방식은 데이터에서 symmetry를 직접 찾아 이 사전 지식 의존성을 줄이려 했습니다.
하지만 연구진은 기존 방법의 검색 공간이 주로 linear symmetry에 제한된다고 지적합니다. 현실의 고차원 데이터에서는 symmetry가 원본 좌표에서 단순한 행렬 변환처럼 보이지 않을 수 있습니다.
즉 데이터 공간에서는 변환 관계가 복잡해도, 내부적으로는 일정한 규칙을 따르는 상황이 존재합니다.
LaLiGAN은 바로 이 지점에서 문제를 바꿉니다. 원본 공간에서 복잡한 symmetry를 끝까지 직접 해석하는 대신, 그 symmetry가 단순하게 표현되는 latent space를 함께 학습하는 것입니다.
LaLiGAN은 nonlinear symmetry를 latent로 옮긴다
LaLiGAN은 데이터 공간과 latent space 사이의 mapping을 학습합니다.
목표는 단순히 데이터를 압축하는 것이 아닙니다. 원본에서는 nonlinear하게 보이는 group action이 latent space에서는 linear symmetry로 표현될 수 있도록 representation을 구성합니다.
latent space symmetry discovery가 ComfyUI 워크플로우에 미치는 영향
Autoencoder와 LieGAN이 함께 들어가는 이유
기존 방식과 비교해야 할 부분
구조를 단순화하면 encoder가 원본 데이터를 latent representation으로 옮기고, latent space에서는 LieGAN 계열의 symmetry discovery가 작동합니다.
이후 decoder가 다시 데이터 공간으로 연결합니다.
개념적으로 보면 다음과 같습니다.
원본 데이터 → nonlinear mapping → latent → linear symmetry discovery
논문의 핵심 아이디어는 nonlinear group transformation을 nonlinear mapping과 latent에서의 linear symmetry로 분해하는 것입니다.
그래서 LaLiGAN에서 latent space는 단순히 데이터를 작게 압축해 보관하는 장소가 아닙니다. 복잡한 symmetry를 더 다루기 쉬운 형태로 바꾸는 representation space라는 역할을 갖습니다.
Latent에서 Linear하다는 의미가 중요하다
여기에서 linear이라는 표현을 단순히 데이터가 직선 모양으로 배열된다는 뜻으로 이해하면 안 됩니다.
핵심은 group action이 latent representation에서 linear transformation으로 나타날 수 있다는 것입니다. 원본 데이터에서는 복잡하게 움직이는 변환도 적절한 representation을 찾으면 더 단순한 형태로 표현할 수 있다는 관점입니다.
성능과 결과 품질에서 확인할 차이
Symmetry와 representation을 동시에 찾는다
워크플로우 구성에서 놓치기 쉬운 부분
LaLiGAN의 특징은 latent representation을 먼저 고정해 놓고 그 안에서 symmetry만 찾는 것이 아닙니다.
데이터를 latent space로 보내는 mapping과 latent에서 나타나는 symmetry를 함께 학습합니다. 따라서 symmetry discovery 과정 자체가 latent space의 구조 형성에도 영향을 줍니다.
연구진은 이 방식이 고차원 dynamical system의 intrinsic symmetry를 발견할 수 있다고 보고했습니다.
결과적으로 잘 구성된 latent space는 symmetry 발견에서 끝나지 않고 이후 다른 분석에도 활용될 수 있습니다.
발견한 Symmetry는 Equation Discovery에도 쓰인다
논문에서는 LaLiGAN이 만든 structured latent space를 downstream task에도 활용했습니다.
대표적인 예가 equation discovery와 long-term forecasting입니다. 데이터의 symmetry가 정리된 latent representation에서는 복잡한 원본 관측값을 그대로 분석하는 것보다 시스템의 구조를 더 단순하게 표현할 가능성이 생깁니다.
특히 dynamical system에서는 symmetry를 이해하면 어떤 변화가 본질적인 동역학이고, 어떤 변화가 symmetry transformation에 의한 것인지 구분하는 데 도움이 됩니다.
이 연구의 의미도 단순히 “latent를 예쁘게 정렬했다”는 데 있지 않습니다. 숨겨진 symmetry를 발견해 이후 물리 시스템의 구조를 분석하는 representation으로 활용할 수 있다는 것이 중요한 부분입니다.
실제로 적용할 때 체크할 점
Stable Diffusion의 Latent와는 같은 기술이 아니다
ComfyUI 사용자는 제목의 Latent Space 때문에 VAE Encode나 KSampler가 다루는 LATENT를 먼저 떠올릴 수 있습니다.
하지만 LaLiGAN은 Stable Diffusion 이미지 생성 과정에서 noise를 denoise하는 기술이 아닙니다. 여기서 latent space는 nonlinear symmetry를 linear하게 표현하기 위해 학습하는 내부 representation입니다.
Stable Diffusion에서는 보통 다음 흐름을 봅니다.
IMAGE → VAE → LATENT → diffusion
LaLiGAN의 핵심 흐름은 목적부터 다릅니다.
DATA → latent representation → symmetry discovery
따라서 이 논문을 ComfyUI의 latent manipulation이나 이미지 symmetry 생성 기능으로 이해하면 안 됩니다.
마지막 확인
Latent Space Symmetry Discovery의 핵심은 복잡한 nonlinear symmetry를 원본 데이터 공간에서 직접 찾지 않고, symmetry가 linear하게 나타나는 latent space를 함께 학습한다는 것입니다.
LaLiGAN을 볼 때는 일반적인 autoencoder처럼 “얼마나 잘 압축했는가”보다, latent representation이 group symmetry를 얼마나 단순하게 드러내는지를 먼저 보는 것이 좋습니다. 그리고 제목의 latent space는 Stable Diffusion의 이미지 latent가 아니라 symmetry discovery를 위해 학습된 representation이라는 점을 구분하면 논문의 목적이 훨씬 명확해집니다.