LLMInference1 LoRAX란? 여러 LoRA를 한 GPU에서 서빙하는 방법 lorax를 검색하면 이번에는 앞서 등장한 의약품이나 통신 기술과 달리 실제 LoRA와 직접 연결된 프로젝트가 나온다. LoRAX는 LoRA eXchange의 약자로, 여러 LoRA adapter를 하나의 inference 환경에서 효율적으로 서빙하기 위한 오픈소스 프레임워크다.다만 ComfyUI에서 이미지 LoRA를 불러오는 Load LoRA 노드와 같은 도구라고 생각하면 안 된다. LoRAX의 핵심 대상은 대규모 언어 모델이며, 하나의 base model을 공유하면서 요청마다 서로 다른 LoRA adapter를 적용하는 서버 구조에 가깝다.lorax에서 가장 먼저 볼 변화LoRAX는 LoRA 파일이 아니라 inference server다일반적인 LoRA는 base model에 추가되는 비교적 작은 a.. 2026. 8. 24. 이전 1 다음
