엑사원 딥(EXAONE Deep) : 7.8B 모델 사용해본 소감은?

 

 

최근 3월 18일 LG AI연구원에서 엑사원 딥(EXAONE Deep)을 오픈소스로 공개하였습니다. 이는 수학적 논리를 이해하고 과학적인 개념을 추론하는 등의 기능을 가진 고성능 추론 특화 모델이죠.

​

이렇게 자체 추론하는 기능을 가진 모델은 OpenAI나 DeepSeek, 구글, 알리바바 등 일부 기업만이 개발하고 있다보니, LG AI연구원에서 발표한 엑사원 딥(EXAONE Deep)은 어느정도의 퀄리티를 보여주는지 궁금해지더라구요.

​

그렇기에 이번 포스팅에서는 엑사원 딥(EXAONE Deep)에 대해서 간단하게 알아보고, LM Studio를 이용하여 직접 7.8B 모델을 사용해본 후기로 함께 이야기 해보도록 하겠습니다.

목차

1. 엑사원 딥(EXAONE Deep)

2. 7.8B 모델 설치 및 사용해본 소감

1. 엑사원 딥(EXAONE Deep)

 

엑사원 딥(EXAONE Deep)은 LG AI Research에서 개발한 추론 강화 오픈소스 LLM으로 이번 3월 18일 3가지 모델(온디바이스 수준의 2.4B, 경량 모델인 7.8B, 프론티어급 모델인 32B)을 공개하였습니다.

​

이는 LG AI연구원 블로그에서도 확인할 수 있는 것처럼 수학적 논리를 이해하고, 과학적인 개념 추론, 프로그래밍 문제를 해결하는 능력을 갖춘 모델입니다. 

2. 7.8B 모델 설치 및 사용해본 소감

 

다만 이렇게 벤치마크만 보고 넘어가기에는 아쉬워서 사용하고 있는 컴퓨터에서 LM Studio를 이용하여 엑사원 딥(EXAONE Deep) 7.8B GGUF Q8 모델을 설치하고 테스트해봤습니다. (구동 환경 - Ryzen5 7500F, 32GB RAM, 3060 VRAM 12GB)

​직접 엑사원 딥(EXAONE Deep)이나 3.5를 PC에 설치하고 사용해보고 싶으시다면 상기 포스팅을 참고해서 진행해보시면 좋을 것 같네요. (고사양 PC가 아니라면 2.4B 또는 7.8B 사용을 권장)

​

이렇게 LM Studio를 이용하여 엑사원 딥(EXAONE Deep) 7.8B를 설치하고, 모델을 로드해서 메시지를 입력해보면 우측과 같은 에러코드를 확인할 수 있습니다. 처음에는 오류가 아닌가? 싶을 수 있는데 이 부분은 정상으로 별도의 설정을 해주어야 합니다.

​

자세한 내용은 LG AI Research의 GitHub의 Run Locally 하단의 LM Studio 항목에서 확인할 수 있는데요. 엑사원 딥(EXAONE Deep)을 정상적으로 사용하기 위해서는 이와 같이 별도의 세팅이 필요한 것을 볼 수 있었습니다.

​

위와 같이 내 모델 → LLM → EXAONE Deep 7.8B → 설정 아이콘 → Prompt 탭을 선택한 뒤 Reasoning Section Parsing 부분의 think를 thought로 변경하고 하단의 프롬프트 템플릿 부분도 수정해주시면 됩니다.

​

이후에는 Usage Guideline을 참고하여 temperature(온도)는 0.6으로 Top_p는 0.95로 설정해주시면 됩니다. (모델 로드 Create a New Chat을 선택한 뒤 우측 상단의 아이콘 선택 후 설정할 수 있음)

​

다만 가이드라인에 없는 내용 중에서 수정해야 하는 설정도 있는데요. 반복 패널티를 1.1에서 1로 변경하는 것입니다.

​

실제로 테스트를 위해 MATH-500 벤치마크 진행해 보았는데, 계속해서 같은 추론을 반복하거나 과하게 시도하는 등의 문제가 있었는데, 이렇게 설정한 뒤에는확실히 과도한 추론을 반복하는 경향이 많이 줄어들고 올바른 결과값을 얻을 수 있었습니다.(Reddit의 내용을 참고하였음)

이후성능 테스트를 위해서 MATH-500의 질문을 찾아 테스트해보았는데요. 난이도 1~5 중 10개 정도를 선정하여 진행 시에 전부 올바른 정답을 추론해내는 것을 볼 수 있었습니다. 이 외에도 간단한 프로그램 코드를 작성하게도 지시해보았는데 결과물의 퀄리티도 준수​했습니다.

​

​

그 중에서 추론 과정을 살펴보면 상당히 재미있는 부분을 볼 수 있었는데요. 추론 과정이 길기도 할 뿐더러 올바른 답을 도출한 뒤에도 여러번 해당 값이 맞는지 다시 검증하려고 하는 것을 볼 수 있었습니다.

​

어떻게 보면 불필요한 과정을 거듭해서 반복한다. 라고 볼 수 있는데, 수학이나 과학, 코딩과 같이 복잡한 문제를 해결하는 영역에서 성능을 비약적으로 향상시키는 데 초점을 맞추었다고 하니 정확도가 높다. 라는 장점으로 볼 수 있을 것 같네요.

이 외에도 간단한 작문이나 글쓰기 등에서도 준수한 결과물을 출력하는 것을 볼 수 있었습니다. 다만 일부 학습되지 않은 정보에 대해서는 AI 환각 증상이 발생하는 경우도 있었네요.

​

직접엑사온 딥(EXAONE Deep) 7.8B을 사용해본 소감은 수학, 과학, 코딩 부분에 특화된 모델로 경량화 모델에서도 높은 수준의 퀄리티를 보여준다는 점에서 다른 추론 모델들과 비교해도 경쟁력 있고 매력적이다. 라고 말해볼 수 있겠네요.

출처: https://blog.naver.com/ryurime88/223803047020?trackingCode=rss