AI 모델이 메모리(RAM 또는 VRAM) 초과 시

ubuntu24에서 "run error: Ollama API error 500: {"error":"model requires more system memory (30.1 GiB) than is available (8.3 GiB)"}" 해결방법으로 모델 교체하는 방법은


해당 에러는 현재 실행하려는 AI 모델이 약 30.1GB의 메모리(RAM 또는 VRAM)를 요구하지만, 시스템에 남아있는 가용 메모리가 8.3GB뿐이어서 발생하는 메모리 부족(Out of Memory) 문제입니다.

보유하신 8.3GB의 가용 메모리 환경에 맞춰, 원활하게 구동되는 더 작은 크기의 모델(주로 7B~8B 파라미터 급)로 교체하는 방법을 단계별로 안내해 드릴게요.

1단계: 8.3GB 메모리에 맞는 소형 모델 선택하기
일반적으로 8.3GB 메모리 환경에서는 용량이 4~6GB 정도인 모델을 사용하는 것이 안정적입니다. 다음 모델들 중 하나를 추천합니다.

llama3.1 (8B): 메타에서 공개한 최신 모델로, 다목적으로 가장 무난하고 성능이 뛰어납니다. (약 4.7GB 소요)

qwen2.5 (7B): 알리바바에서 만든 모델로, 소형 모델 중 한국어 처리 능력이 매우 우수한 편입니다.

gemma2 (9B 또는 2B): 구글의 가벼운 모델로 빠른 속도가 장점입니다.

mistral (7B): 빠르고 논리적인 답변을 잘하는 경량 모델의 대표 주자입니다.

2단계: Ubuntu 터미널에서 새 모델 다운로드 및 실행
Ubuntu 24.04의 터미널을 열고 아래 명령어를 입력하여 새로운 모델을 다운로드하고 실행합니다. (여기서는 가장 추천하는 llama3.1을 예시로 듭니다.)

Bash
# 1. 새로운 소형 모델 다운로드 및 실행
ollama run llama3.1

# 2. (선택) 로컬에 설치된 모델 목록 확인
ollama list
3단계: 기존 연동 환경(API, WebUI 등)의 모델명 수정
터미널에서 직접 ollama run을 사용하는 것이 아니라, Open WebUI나 Python 코드 등을 통해 API로 접근 중이셨다면 요청하는 모델의 이름도 변경해 주어야 합니다.

Python 코드 등 API 사용 시:
코드 내부의 model 파라미터를 새로 다운로드한 모델명으로 변경합니다.

Python
# 변경 전
# response = client.chat.completions.create(model="llama3:70b", ...) 

# 변경 후
response = client.chat.completions.create(model="llama3.1", ...)
Open WebUI 등 화면(UI) 사용 시:
채팅창 상단의 모델 선택 드롭다운 메뉴에서 새로 설치한 llama3.1 (또는 선택하신 다른 모델)을 클릭하여 교체해 줍니다.

4단계: (선택) 용량만 차지하는 기존의 큰 모델 삭제
실행도 불가능한 30GB짜리 큰 모델이 디스크 용량만 차지하고 있다면, 아래 명령어로 삭제하여 저장 공간을 확보할 수 있습니다.

Bash
# 기존에 설치했던 큰 모델의 이름을 입력하여 삭제
ollama rm <기존_큰_모델명>

# 예시: ollama rm llama3:70b
주로 어떤 작업(코딩, 번역, 한국어 대화 등)에 AI 모델을 활용하실 예정이신가요? 용도를 알려주시면 현재 메모리 환경에서 가장 효율이 좋은 특정 모델을 콕 집어 추천해 드릴 수 있습니다!