LLM | Q4_K_M, Q5_K_M, Q8_0, F16 의미

Qwen2.5-Coder-1.5B-Instruct-GGUF 모델의 파일 크기는 선택하는 양자화(Quantization) 방식에 따라 다르며, 대략 1.0GB ~ 3.1GB 사이입니다

양자화 방식별 파일 크기

• Q4_K_M (4비트, Quantization 4-bit, K-Quant Method, Medium ): 약 986MB ~ 1.0GB (가장 가벼움)
• Q5_K_M (5비트): 약 1.13GB
• Q8_0 (8비트, Quantization 8-bit, Version 0): 약 1.65GB (균형형)
• F16 (비압축 원본, Floating-Point 16-bit): 약 3.09GB

()