한국어 잘하는 AI : 엑사원(Exaone) 3.5 사용 방법

한국어 잘하는 AI : 엑사원(Exaone) 3.5 사용 방법

최근에는 챗GPT와 같은 생성형 AI를 이용하는 것 외에도 사용하고 있는 컴퓨터에 오픈소스 LLM(대규모 언어 모델)을 설치하여 나만의 AI로 이용하거나 파인튜닝을 통해 목적에 맞게 커스터마이징 하여 사용하시는 분들도 늘어나고 있습니다.

​

하지만 대부분의 오픈소스 AI 모델의 경우, 해외에서 제작되어 한국어와 관련된 부분을 지원하지 않거나 결과물이 아쉬운 경우가 있는데요. 이럴때에는LG 리서치에서 공개한 엑사원(Exaone)을 사용해보시는 것도 좋습니다.

​

그렇기에 이번 포스팅에서는 한국어 잘하는 AI 엑사원(Exaone) 3.5 사용 방법을 알아보고 직접 성능 테스트를 해보도록 하겠습니다. 일반적인 PC에서도 사용할 수 있는 7.8B 모델을 설치하고 이용해보도록 하죠.

                                                                                                목차

1. 엑사원(Exaone) 3.5 설치

2. Exaone AI 모델 사용 방법 (+ 한국어 테스트)

1. 엑사원(Exaone) 3.5 설치

● LM Studio 설치

엑사원(Exaone) 3.5 사용 방법을 알아보기 위해서는 사용하고 있는 컴퓨터에 설치하는 것부터 진행해 주셔야 하는데요. 이를 설치할 수 있는 방법은 여러가지가 있지만 이번 포스팅에서는 LM Studio를 이용해보도록 하죠.

​

그럼 LM Studio 설치를 위해서 네이버에 위와 같이 검색 한 뒤, 첫번째로 보이는 공식 홈페이지 링크를 클릭해보도록 하죠.

​

LM Studio 사이트에 접속하면 Download LM Studio for Windows 라는 버튼을 보실 수 있는데, 이를클릭하여 다운로드 받은 뒤 실행해주시면 됩니다. (설치 파일 용량은 약 460MB 정도)

​

해당 프로그램 외에도 Ollama를 이용하는 등의 다양한 방법이 있지만, LM Studio를 이용하면 추가적인 프로그램 설치 없이 다른 생성형 AI와 비슷한 화면과 UI에서 엑사온(Exaone) 3.5 모델을 이용할 수 있기 때문입니다.

​

 

설치의 경우 별다르게 선택하셔야 되는 부분은 없지만, PC 저장공간이 부족하신 경우에는 경로를 바꾸셔서 진행하시는 것을 권장드립니다. 이후완료되었다면 마침 버튼을 눌러 프로그램을 실행해보도록 하죠.

위와 같이 LM Studio 프로그램이 실행되면, 우측 상단에 보이는 Skip onboarding을 선택하여 기본적인 튜토리얼을 생략해주시면 되겠습니다. (다른 LLM을 설차하는 과정이 있기 때문에 생략)

​

그럼 오른쪽 이미지와 같은 화면을 보실 수 있는데, 여기에서는 돋보기 모양 아이콘을 클릭하여 원하는 LLM(대규모 언어 모델)을 검색하여 설치해주시면 되죠.

Mission Control 화면에서는 상단의 검색 창을 선택하고 Exaone 3.5 타이핑 후 검색해 주시면 됩니다. 그럼 여러가지 검색 결과를 보실 수 있는데, 여기에서는 작성자가 LGAI-EXAONE으로 되어 있는 EXAONE-3.5-7.8B-Instruct를 선택 후 Donwload 버튼을 클릭합니다.

​

화면에 보이는 Q4_K_M 부분을 클릭하여 양자화 부분에 대해서도 변경이 가능한데, GPU VRAM이 어느정도 된다면(10~12GB) Q6_K를 선택하고 진행하시는 것도 좋은 선택이 될 수 있습니다.

​

※ 모델의 파라메타 외에도 양자화에 따라 LLM 모델의 성능이나 속도, 권장 사양등이 달라짐

​

​

엑사온(Exaone) 3.5 다운로드가 완료되었다면, 위와 같이 Select a model to load를 클릭하여 EXAONE 3.5 7.8B Instruct를 선택하고 로딩이 완료될 때까지 대기한 뒤, 일반적인 생성형 AI와 동일하게 사용해주시면 됩니다.

2. Exaone AI 모델 사용 방법 (+ 한국어 테스트)

Exaone AI 모델 사용 방법은 일반적인 생성형 AI와 동일하게 원하는 질문이나 프롬프트를 입력하고 답변을 받는 방식으로 이용하시면 됩니다. 다만 Chatgpt와 다르게 인터넷의 내용을 검색하는 기능은 없으며, 학습되지 않은 내용을 묻는 경우 AI 환각 증상이 발생하기도 합니다.

​

Exaone의 경우 이러한 AI 환각 증상을 최소화 하여서 부정확한 결과를 출력하는 경우가 적습니다. (하지만 상황에 따라 발생은 함)

​

 

이 외에도 txt, docx 와 같은 텍스트 기반 파일을 업로드하여 내용을 정리하거나 요약하는 등의 작업 수행이 가능하죠. 이 외에도 엑사원은 한국어, 영어 쪽에 특화되어 있다보니 간단한 번역 용도로 활용하셔도 좋을 것 같네요.

​

다만 우리가 설치한 모델인 엑사원 3.5 7.8B에서는 ChatGPT와 같은 수준의 퀄리티를 바라기는 어렵습니다.그렇기에 사용하고자 하는 목적에 맞게 별도로 파인튜닝을 진행하는 것이 좋습니다.

​

※ 일반적인 PC에서 설치하고 구동할 수 있는 오픈소스 LLM의 경우, ChatGPT와 같은 성능을 내기 어렵습니다. (파라메타의 차이 등)

끝으로 엑사원(Exaone) 3.5 7.8B 모델과 ChatGPT 4.5에게 고양이와 관련된 짧은 글을 작성해주세요. 라는 문장을 통해 한국어 테스트를 진행해 보았는데요. 위와 같이 서로 다른 느낌의 글을 작성​하는 것을 볼 수 있었습니다.

​

이 외에도 전체적으로 엑사원 쪽이 주어진 주제에 대해서 한국어로 글을 작성하는 경우 보다 읽기 좋고, 사람이 작성한 것과 같은 느낌이 들었다는 점도 참고해주시면 좋을 것 같네요.

류리's View​

오늘은 한국어 잘하는 AI인 엑사원(Exaone) 3.5 사용 방법에 대해서 알아보았습니다.

​

엑사원과 같은 오픈소스 LLM의 경우, 모델의 파라메타나 양자화 부분에 따라 성능의 차이가 많다보니, 일반적인 PC에서 사용할 수 있는 모델의 경우 별다른 파인튜닝 없이 사용하는 경우 이정도의 성능을 보여준다. 라는 것만 봐주시면 좋을 것 같네요.

​

추후 기회가 된다면 7.8B 모델이 아닌 32B 모델로 테스트 해보거나 별도로 파인튜닝을 진행한 뒤에 어떠한 차이가 있는지 다시 살펴보도록 하겠습니다.

​출처: https://blog.naver.com/ryurime88/223797512391?trackingCode=rss