LLM | 초경량 모델 | 파라미터 크기는 작으면서도(1B ~ 8B) 컨텍스트 윈도우는 64K 이상을 네이티브로 지원하는 모델

64K를 지원하는 별도의 압축 전용 모델?

에이전트 기반 시스템(예: Hermes Agent)에서 보조 압축 모델(Auxiliary Compression Model)은 메인 모델이 처리하기에 너무 긴 프롬프트, 대화 기록, 또는 RAG(검색 증강 생성)로 가져온 대량의 문서를 요약하고 핵심만 압축하여 메인 모델에 전달하는 역할을 합니다.

메인 모델의 연산 리소스와 VRAM을 절약하는 것이 주 목적이므로, 파라미터 크기는 작으면서도(1B ~ 8B) 컨텍스트 윈도우는 64K 이상을 네이티브로 지원하는 모델을 선택하는 것이 가장 효율적입니다.

로컬 환경에서 GGUF 포맷으로 구동하기 좋은 64K 이상 지원 모델들을 추천해 드립니다.

1. 초경량 모델 (VRAM 제약이 클 때 추천)

가용 메모리가 넉넉하지 않거나, 메인 모델에 리소스를 집중해야 할 때 적합합니다.

• Phi-3-Mini-128K (3.8B)
• Qwen2.5-1.5B 또는 3B (1.5B ~ 3B)

2. 표준 모델 (VRAM에 여유가 있을 때 추천)

압축 과정에서도 꽤 높은 수준의 추론 능력이나 정보 보존력이 필요할 때 적합합니다.

• Llama-3.1-8B-Instruct
• Mistral-Nemo (12B)