KQuant1 GGUF Q4_K_M의 K와 M은 무슨 뜻일까 GGUF 모델을 받다 보면 Q4_K_M, Q4_K_S, Q5_K_M처럼 비슷한 파일명이 반복해서 보인다. 앞의 Q4나 Q5는 대략적인 양자화 정밀도를 나타낸다는 점이 비교적 직관적이지만, 뒤의 K와 M은 처음 보면 의미를 짐작하기 어렵다.결론부터 말하면 Q4_K_M에서 K는 llama.cpp의 K-quant 계열을 뜻하고, M은 Medium 변형을 의미한다. 특히 M은 단순히 “중간 크기 파일”이라는 표시라기보다, 어떤 텐서를 더 높은 정밀도로 남길지까지 포함한 양자화 구성의 차이라고 보는 편이 정확하다.GGUF의 K와 M에서 가장 먼저 볼 변화Q4_K_M은 Q4 + K + M으로 읽으면 된다Q4_K_M은 크게 Q4 + K + M으로 읽으면 된다.Q4는 양자화 비트 계열이다Q4의 4는 기본적으로 4비트 .. 2026. 8. 21. 이전 1 다음
