LLM과 RAG 환경 구축

개인 PC에서 보안 걱정 없이 무료로 LLM과 RAG 환경을 구축하는 가장 쉬우면서도 강력한 방법은 Ollama와 AnythingLLM을 조합하는 것입니다.

복잡한 파이프라인 코드 작성 없이 GUI(화면) 환경에서 마우스 클릭 몇 번과 문서 업로드(PDF, TXT, DOCX 등)만으로 나만의 RAG 시스템을 완성할 수 있습니다.

🛠️ 준비물 및 권장 사양

• 운영체제: Windows 10/11, macOS, 또는 Linux
• 메모리(RAM): 16GB 이상 권장 (최소 8GB)
• GPU: NVIDIA 외장 그래픽카드(VRAM 8GB 이상)가 있으면 속도가 매우 빠르지만, Mac(M1/M2/M3)이나 CPU로도 작동 가능합니다.

🚀 3단계 설치 및 설정 방법

1.Ollama 설치 (LLM 엔진):로컬 PC에서 오픈소스 AI 모델을 실행하는 프로그램입니다..

1. Ollama 공식 웹사이트(ollama.com)에 접속하여 운영체제에 맞는 설치 파일을 다운로드하고 설치합니다.
2. 설치가 끝나면 터미널(Mac/Linux) 또는 **명령 프롬프트/PowerShell(Windows)**을 열어 아래 명령어를 입력하여 원하는 LLM 모델과 임베딩 모델을 다운로드합니다.

• 한국어 성능이 뛰어난 LLM 모델 다운로드:

 

ollama run qwen2.5:7b

(실행 후 모델 다운로드가 완료되고 터미널에 대화창이 뜨면 /bye를 입력해 종료합니다.)

• RAG 검색용 텍스트 임베딩 모델 다운로드:

 

ollama pull mxbai-embed-large

 

2.AnythingLLM 설치 (RAG 인터페이스):문서 업로드, Vector DB, 채팅 창을 제공하는 무료 GUI 앱입니다..

1. AnythingLLM 공식 웹사이트(anythingllm.com)에 접속해 Desktop 버전을 다운로드하여 설치합니다.
2. 앱을 처음 실행하면 초기 설정 화면(Wizard)이 나타납니다.

3.AnythingLLM과 Ollama 연동 설정:내 PC의 Ollama 모델을 AnythingLLM과 연결합니다..

초기 설정 화면 또는 **Settings(설정 아이콘)**에서 아래와 같이 선택합니다.

• LLM Preference (대화 모델):
  • Provider: Ollama
  • Ollama Base URL: [http://127.0.0.1:11434](http://127.0.0.1:11434) (기본값)
  • Chat Model: qwen2.5:7b 선택
• Embedding Preference (임베딩 모델):
  • Provider: Ollama
  • Embedding Model: mxbai-embed-large 선택
• Vector Database:
  • 기본값인 LanceDB 그대로 유지 (추가 설치 없이 내장된 DB 사용)

📄 내 문서로 RAG 테스트하는 방법

1. AnythingLLM 화면 왼쪽에서 New Workspace(새 워크스페이스)를 하나 생성합니다. (예: 개인_메모_RAG)
2. 상단의 Upload/Pin Documents (서류 가방 모양 아이콘)을 클릭합니다.
3. RAG로 활용하고 싶은 파일(PDF, Word, TXT, Notion 수출 문서 등)을 드래그 앤 드롭으로 업로드합니다.
4. 업로드된 문서를 선택한 후 Move to Workspace를 누르고 Save and Embed 버튼을 클릭합니다.
5. 이제 채팅창 하단 모드를 Query(문서 기반 답변)로 설정하고 질문을 던지면, 내 문서 내용을 바탕으로 답변하는 것을 확인할 수 있습니다.

💡 성능 및 활용 팁

• RAM이 8GB~12GB로 부족한 경우: qwen2.5:7b 대신 가볍고 빠른 qwen2.5:3b 모델을 받아서 사용해 보세요. (ollama run qwen2.5:3b)
• 웹사이트 URL RAG: AnythingLLM 업로드 창에 특정 블로그나 뉴스 URL을 입력하면 웹 페이지 전체를 긁어와 RAG 문맥으로 활용할 수 있습니다.