AI Llama3를 내 PC에서 무료로 사용하는 방법 (GPT4All & RAG)

출처: https://reviewinsight.blog/2024/06/20/llama3%EB%A5%BC-%EB%82%B4-pc%EC%97%90%EC%84%9C-%EB%AC%B4%EB%A3%8C%EB%A1%9C-%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95-gpt4all-rag/

이번 글은 오픈 소스 모델인 Llama3를 사용해 내 PC에서 ChatGPT와 같은 LLM을 사용하는 방법이며 검색증강생성 기술인 RAG를 사용해 내가 보유한 데이터 안에서 검색해서 답변을 해주는 방법에 대해 알아보려고 합니다.

ChatGPT를 사용하다보면 아래와 같은 고민 생각을 하게 됩니다.

1> 보안 유출이 걱정되는데 내 PC에서 LLM 모델을 돌릴 수는 없을까?
2> 비즈니스 목적으로 API를 돌리는 비용도 많이 들고, ChatGPT는 비싸니까..

이럴 때 아래와 같은 방법으로 내 PC에서 모델을 돌리고 테스트 해볼 수 있습니다. 또한 다양한 언어 모델들을 다운로드 받아서 테스트 해볼 수도 있습니다.

목 차

1> GPT4ALL 설치
2> Llama3 모델 및 Embedding 모델 설치
3> RAG 기반 검색 및 테스트해보기
4> Hugging Face에서 여러가지 모델 테스트해보기!

---

1. GPT4ALL 설치

먼저 로컬에서 실행하기 위해 GPT4ALL이라는 프로그램을 설치해야 합니다. GPT4ALL은 일반 사용자들도 로컬에서 돌릴 수 있는 수준의 CPU에서 LLM을 학습하고 배포할 수 있는 시스템입니다.

GPT4All 설치 바로하기

자신의 PC에 따라 윈도우 Mac 등을 선택해서 진행할 수 있고 Ubuntu로도 가능합니다. 다운 받은 후에 기본 정해진 사항으로만 설치하면 5분 내로 대부분 절차가 마무리 됩니다.

---

2. Llama3 모델 및 Embedding 모델 설치

설치가 완료되면 위와 같은 기본 화면을 볼 수 있습니다. 위에 컬러풀한 색깔들이 GPT4All에서 사용 가능한 다양한 언어 모델들 입니다. 다운로드 모델 버튼을 클릭해서 설치할 모델을 선택하게 됩니다.

화면에서 보면 우리에게 익숙한 모델들도 있고 생소한 모델들도 많습니다. 2가지 가장 대표적인 모델 중 Llama 3 Instruct 모델을 다운로드 받으면 됩니다.

그 아래 이미지는 ChatGPT-4의 참고용 이미지로 다운로드가 아닌 인스톨이며 API 넘버가 필요합니다. 즉, 사용에 따른 비용이 부과되며 로컬이 아닌 인터넷 환경에서 진행됩니다.

다시 말하면 아래와 같습니다. Llam3 모델 사용 시 2가지 장점이 있습니다.

• 만약 Llama 3 Instruct 모델을 다운로드 받아 사용한다면 인터넷 없이도 가능하며 내 정보를 사용해도 외부로 유출되지 않는 다는 점이 가장 큰 장점 입니다.
• API 사용에 따른 비용도 발생하지 않습니다.

다만 성능에 있어서 일부 제한적일 수 있지만 만약 자신의 도메인 영역에서 전문성을 기르고자 한다면 어차피 RAG 혹은 파인 튜닝으로 커버해야 할 것입니다.

Llama 3 Instruct 모델 다운로드가 끝났다면 이미지처럼 화면 상단의 Choose a model..을 클릭하면 라마3를 선택할 수 있습니다. 선택 후에 우측의 New Chat을 클릭해서 사용하면 됩니다!

---

3. RAG 기반 검색 및 테스트해보기

여기까지는 LLM 자체로만 질문하고 답변을 받을 수 있는 버전입니다. 최근에는 AI 챗봇이 가지는 오류에 대한 한계성, 최신 정보가 부족한 점 등을 고려하여 RAG(검색 증강 생성)이라는 기술을 많이 씁니다. (RAG 설명 바로가기)

간단하게 RAG를 인문학도 언어로 설명하면,
질문을 하면 지정된 데이터 안에서 검색을 해서 검색한 정보를 AI 챗봇이 설명해주는 것을 말합니다. (임베딩, 백터 DB 등 관련 설명은 생략)

이러한 기술을 GPT4All에서 사용할 수 있습니다.

먼저 이를 위해서는 임베딩 모델을 설치해야 합니다. 위에 영상을 보고 임베딩 모델에 특화된 SBert를 설치해주세요! 설치법은 사실 위와 동일합니다.

설치 후에는 검색할 데이터를 설정해줘야 하는데 그 설정 방법도 아래 영상에서 확인해주세요.

위에 영상처럼 하고 나서 질문을 하면 위에 이미지처럼 답변을 받게 됩니다. 크게 2가지가 다릅니다.

• 질문을 하면 searching localdocs Guide 라고 나오며, 제가 설정해둔 위치 이름인 Guide에서 검색하고 있는 중이라는 의미입니다.
• 또한 검색 답변을 받고 나면 답변 아래 Context라고 참조한 부분을 안내해 줍니다.

즉, AI 챗봇이 자신의 현재 지식이 아닌 추가한 데이터를 보고 답변을 해준다는 의미입니다. 장점은 비용이 발생하지 않고 외부 데이터 유출을 고민하지 않고 작업이 가능하다는 점입니다.

---

4. Hugging Face에서 여러가지 모델 테스트해보기!

위에서 언급한 것처럼 다양한 언어 모델을 다운 받아서 테스트해볼 수 있고 학습시켜서 나만의 모델을 만들 수도 있습니다. 이러한 모델들을 허깅페이스에서 다운 받아서 사용해볼 수도 있습니다. 위에 이미지를 클릭하여 이동할 수 있고 현재 70만개가 넘는 모델들이 올라가 있네요!!

---

5. 마무리

리뷰인사이트는 이처럼 여러 AI 제품들을 분야와 카테고리별로 구분하고 그 기능, 가격, 사용자 후기도 함께 공유드리고 있으니 참고해보세요!!

---

함께보기 좋은글
1. 일론 머스크 xAI, Grok 2 출시 및 사용 방법, 후기
2. 업무 시간을 줄여줄 AI 툴 도구 모음
3. Llama3를 내 PC에서 무료로 사용하는 방법 (GPT4All & RAG)
4. ChatGPT vs Gemini vs Claude 비교 총정리(&대안)
5. Perplexity AI : ChatGPT, Claude, LLaMa를 한 곳에서 사용하는 방법!
6. 신규 GPT-4o 사용 방법 및 업데이트 정리(원문 다운)
7. Meta AI Llama 3 출시와 무료 사용 방법!
8. Sora : OpenAI 신규 모델, 텍스트로 비디오 영상 제작
9. 구글 제미나이 1.5 사전 등록 방법 및 Gemini API 사용
10. AI시대 경제적 해자(Moat)에 대해서