AI 업계에서 주목받고 있는 소형 언어 모델(SLM, sLLM, sLM)

 

 

최근에도 여전히 생성형 AI에 대한 관심이 계속되고 있습니다. 

* 생성형 AI: 생성형 AI란 ChatGPT와 같이 사용자의 요청에 따라 텍스트, 이미지, 음악, 오디오, 동영상과 같은 새로운 콘텐츠를 자동으로 생성해 주는 AI 

 

생성형 AI는 다양한 입력을 통해 텍스트, 이미지, 음악, 오디오, 동영상 등 다양한 콘텐츠를 생성해 줍니다. 

생성형 AI에 대한 더 자세한 내용은 아래 글을 확인해 보세요. 

 

* 생성형 AI와 검색 증강 생성(RAG)

 

그리고 그 중에서 텍스트 입력 및 출력과 관련하여 LLM이라는 모델이 있습니다. LLM이란 Large Language Model의 약자로 대형 언어 모델 또는 대규모 언어 모델이라고 불립니다. 

방대한 양의 데이터를 학습한 LLM을 활용하여 자연어 및 기타 유형의 콘텐츠를 이해하고 생성해 줄 수 있게 되는 것입니다. 

LLM이 유용하긴 하지만 비용이나 데이터의 유출을 우려하는 기업의 입장에서는 도입을 주저하게 될 수도 있습니다. 

이런 상황에서 소형 언어 모델인 SLM이 등장하게 된 것입니다. 

오늘은 이 SLM과 LLM에 대한 전반적인 내용에 대해서 공유해 드리겠습니다. 

 

* 최근 소형 언어 모델이란 용어로 sLLM, sLM, SLM 등이 혼용되어 사용되고 있습니다. 해외 자료들을 리서치해 보면 소형 언어 모델이 SLM으로 자주 언급되고 있어, 이 블로그에서는 소형 언어 모델을 SLM(Small Language Model)으로 정의하고 기술하고 있습니다. 

 

LLM과 SLM이란? 

 

> LLM이란? 

LLM은 Large Languge Model의 약어로 대형 언어 모델 또는 대규모 언어 모델이라고도 불리며 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델을 말하는 것입니다. 

방대한 양의 데이터를 사전에 학습하여 자연어 및 다른 유형의 콘텐츠를 이해하고 생성하는 다양한 작업을 수행할 수 있는 모델이라고 할 수 있습니다. 

 

> SLM이란? 

SLM이란 Small Language Model의 약어로 비교적 경량화된 언어 모델을 의미합니다. 

대형 언어 모델인 LLM의 경우에는 학습이나 훈련에 걸리는 시간이 길고 비용/전력소모가 크고 모델의 휴대성이 낮을 수 있습니다. 이런 이유로 나오게 된 것이 소형 언어 모델인 SLM인 것입니다.  

그럼 LLM과 SLM에는 어떤 차이들이 있을까요? 

이 두 모델의 차이에 대해서 공유해 드리겠습니다. 

 

LLM과 SLM 차이 

위에서 시간, 비용 등에 대해 간략하게 차이를 공유해 드렸지만, 조금 더 자세히 설명해 드리겠습니다.

항목	LLM	SLM
크기(파라미터 수)	수백억 ~ 수천억 개	수억 ~ 수백억 개
학습 데이터 양	방대하고 다양한 데이터	LLM보다 작고 특화된 데이터
학습 시간	몇 주 ~ 몇 개월	몇 시간 ~ 며칠
학습 비용	높음	낮음
응답 속도	느림	빠름
메모리 요구 사항	높음	낮음
커스텀 요구 사항	더 복잡하고 유연하지 않음	더 용이하고 유연함
에너지 소비	높음	낮음

 

* 현재로서는 LLM과 SLM을 구분하는 파라미터 수의 기준이 명확히 정의되어 있지 않음 

LLM에도 다양한 종류들이 있지만, SLM도 LLM에 못지않게 다양한 종류들이 있습니다. 

 

소형 언어 모델의 종류 

다양한 소형 언어 모델 중 몇 가지를 알려 드리겠습니다. 

 

• A Lite BERT(ALBERT): BERT 모델의 경량화된 버전으로, 원래의 BERT 모델보다 가볍고 빠르며, 계산 자원이 제한된 환경에서 효율적으로 사용될 수 있도록 설계된 자연어 처리(NLP) 모델입니다. 기본적으로 BERT의 성능을 최대한 유지하면서도 모델의 크기와 복잡도를 줄이는 데 중점을 둔 기술입니다. 

 

• DistilBERT: BERT 모델의 경량화된 버전으로, 지식 증류(Knowledge Distillation) 기법을 활용해 원본 BERT의 성능을 대부분 유지하면서도 훨씬 가볍고 빠르게 동작하도록 설계된 모델입니다. 

 

• MobileBERT: 카네기멜론대학과 Google Brain이 공통 연구하여 2020년 4월에 공개한 경량화된 BERT 모델로 Mobile 기기에서도 구동 가능한 경량화된 BERT 모델을 만드는 것이 목적인 모델입니다. 

 

• Gemma 2: Gemma 2는 Google의 Gemini 모델을 활용해 만들어진 경량 및 오픈 모델입니다. 

 

• Phi-3-mini: Phi-3-mini는 MS에서 발표한 Phi-3 모델 중 가장 경량화된 모델입니다. 

 

이 외에도 TinyLlama, Qwen2 등의 다양한 모델들이 있습니다. 

 

소형 언어 모델의 활용 

 

소형 언어 모델의 가장 큰 장점은 대규모 인프라나 지속적인 인터넷 연결이 없어도 강력한 AI를 사용할 수 있다는 것이 아닐까 합니다. 그리고 이를 통해서 크게 다음 두 영역에서 소형 언어 모델이 많이 사용되지 않을까 하는 생각이 듭니다. 

 

 > 온디바이스 AI(On-Device AI) 

요즘 휴대폰에 AI가 탑재되어 출시되는 뉴스를 많이 봅니다. 그리고 이렇게 탑재된 AI를 활용하여 음성 명령, 번역 등의 다양한 기능을 활용할 수 있고 말이죠. 

지금은 AI가 휴대폰처럼 특정 기기에만 적용되고 있지만, 앞으로는 다양한 기기들에 AI가 탑재되고, 그렇게 다양한 기기에 탑재된 AI들이 서로 의사소통을 하면서 사람이 신경을 쓰지 않아도 자동으로 그 사람이 원하는 무언가를 수행할 수 있게 되지 않을까 하는 생각도 듭니다. 

 그리고 이를 위해서 소형 언어 모델의 기술은 계속해서 발전해 나갈 것이고 말이죠. 

 

> 초개인화된 AI(Hyper-Personalized AI) 

소형 언어 모델의 가장 큰 장점 중의 하나가 특정 지식이나 특정 사용자에게 특화된 AI가 될 수 있다는 것입니다. 즉, 자신을 가장 잘 아는 AI를 활용할 수 있게 되는 것입니다. 그것도 개인 정보를 보호하면서 말이죠. 

예를 들어, 자신의 의학 정보를 바탕으로 실시간으로 건강을 모니터링하고 자신에게 최적화된 조언을 해 줄 수 있는 것입니다. 그리고 위험 상황 시 AI가 직접 119에 전화를 걸어 현재 상황을 119에 알릴 수도 있게 되는 것이죠.  

그리고 스마트 홈 기기들도 각각에 탑재된 AI를 활용하여 개인의 패턴에 맞게 온도, 조명 등을 최적으로 조정해 주고, 웨어러블 기기들과 스마트 홈 기기들이 서로 상호작용하면서 사람의 현재 상황을 파악하면서 최적의 환경을 제공해 줄 수도 있게 되는 것입니다. 

 

오늘은 LLM과 SLM에 대해서 공유해 드렸습니다. 앞으로의 AI 환경 속에서 LLM과 SLM은 각각의 특성에 맞게 자리매김을 할 것이라는 생각이 듭니다. LLM이 일반적인 AI의 영역에서 활용된다면 SLM은 온디바이스 AI, 개인화된 AI, 특정 조직이나 전문 분야에서 많이 활용될 것입니다. 

그리고 이 두 모델의 연계를 통해서 다양한 형태의 AI 환경이 구축될 것이라는 생각도 듭니다.  

 

그리고 이제는 모든 사물이 인터넷을 통해 연결된다는 사물 인터넷(IoT, Internet of Things)이라는 개념을 넘어 모든 사물이 AI를 통해 연결된다는 사물 인공 지능(AIoT, AI of Things)이라는 개념으로 확장되어 가지 않을까 하는 개인적인 생각도 듭니다. 

출처: https://didim365.com/blog/ai-%ec%97%85%ea%b3%84%ec%97%90%ec%84%9c-%ec%a3%bc%eb%aa%a9%eb%b0%9b%ea%b3%a0-%ec%9e%88%eb%8a%94-%ec%86%8c%ed%98%95-%ec%96%b8%ec%96%b4-%eb%aa%a8%eb%8d%b8slm-sllm-slm/