용어 sLM, sLLM, LLM, LMM, 멀티 LLM(Large Language Model)

출처: https://brunch.co.kr/@iotstlabs/338

출처: https://www.earlyadottor.com/c/1-a-llm/llm-b29805

---------------------------------------------------------------

sLM과 sLLM의 차이

이 용어들은 자연어 처리(NLP) 분야에서 사용되는 인공지능 언어 모델의 크기나 능력을 구분하기 위해 사용

    sLM (small Language Model):
-  sLM은 비교적 작은 언어 모델을 가리킵니다. 이러한 모델은 파라미터 수가 적고, 학습 데이터셋이 작거나 모델의 구조가 단순한 경우가 많습니다. (통상 30억 개 이하의 파라미터를 갖는다고 합니다.)
- 이 모델들은 제한된 컴퓨팅 자원에서도 효율적으로 운영될 수 있으며, 빠른 학습과 추론 속도를 제공합니다.
- 그러나 크기가 작기 때문에, 더 큰 모델들에 비해 언어 이해나 생성 능력이 떨어질 수 있습니다. 따라서 단순한 NLP 작업이나 제한된 도메인에서 주로 사용됩니다.

    sLLM (smaller Large Language Model):
-  sLLM은 큰 언어 모델(Large Language Model) 중에서도 상대적으로 작은 크기를 가진 모델을 의미합니다. 이들은 sLM보다는 크지만, 최대 규모의 언어 모델에 비해서는 작습니다.
-  이 모델들은 여전히 대규모 데이터셋을 사용하여 학습되며, 복잡한 언어 이해 및 생성 작업을 수행할 수 있는 능력을 갖추고 있습니다.
- sLLM은 균형 잡힌 성능과 자원 사용 사이에서 타협점을 제공합니다. 즉, 큰 언어 모델의 능력을 어느 정도 유지하면서도, 필요한 컴퓨팅 자원을 줄일 수 있습니다.      

요약하자면, sLM과 sLLM의 주된 차이는 모델의 크기, 학습 데이터의 규모, 처리 능력, 그리고 필요한 컴퓨팅 자원의 양에 있습니다. sLM은 간단한 작업이나 자원이 제한된 환경에 적합한 반면, sLLM은 더 복잡한 NLP 작업에 적합하면서도 전체적인 자원 사용량을 고려한 모델입니다.

On-Device AI가 탑재되는 소형 기기에는 작은 크기의 모델인 sLM (small Language Models)이 더 적합할 수 있습니다. 이러한 기기는 일반적으로 제한된 처리 능력과 저장 공간을 가지고 있으며, 에너지 효율성도 중요한 고려 사항입니다. sLM은 이러한 제약 조건 하에서도 효율적으로 작동할 수 있도록 설계되었습니다. sLM은 더 작은 메모리 요구 사항을 가지며, 더 낮은 연산 복잡도로 빠른 응답 시간을 제공할 수 있습니다.

반면에, sLLM (small Large Language Models)은 더 큰 모델에 비해 작지만 여전히 상당한 계산 자원을 요구할 수 있으며, 이는 소형 기기의 제한된 리소스와 호환되지 않을 수 있습니다. 물론, 특정 응용 프로그램의 요구 사항이 더 복잡한 언어 이해 능력을 필요로 하고 기기가 이를 지원할 수 있는 충분한 처리 능력과 메모리를 갖추고 있다면, sLLM이 고려될 수도 있습니다.

그러나 대부분의 경우, 스마트 스피커, 셋탑박스, 홈서비스 로봇과 같은 소형 기기에는 에너지 효율성과 빠른 응답 시간을 제공할 수 있는 sLM이 더 적합할 것입니다.

--------------------------------------------------------

멀티 LLM(Large Language Model)은 여러 대형 언어 모델을 함께 활용하는 접근 방식으로, 복잡한 작업을 효율적으로 처리하고 더 나은 결과를 얻기 위해 사용됩니다.

주된 특징으로는 다양한 모델을 활용하고 병렬처리 하여 효율성을 높일 수 있다는 점과 작업을 서로 분배해 각 모델이 특정 부분을 담당할 수 있습니다.

그러나 LLM은 텍스트 상에서만 작동할 수 있다는 단점을 가지고 있다. 그러하여 이에서 발전한 LMM(Large Multimodal Model)이 존재한다. LMM은 여러 유형의 데이터 형식을 처리하고 이해할 수 있는 고급 유형의 인공지능 모델이다.

LLM(Large Language Model)과 LMM(Large Multimodal Model)의 주된 차이점은 데이터 양식과 어플리케이션 및 작업 분야에서 확인할 수 있다. LMM은 다양한 유형의 데이터 입력 또는 양식을 이해하고 처리하도록 설계되었고, 다양한 유형의 데이터에 대한 정보를 이해하고 통합해야하는 작업에 적용 가능하다. 이에 반해 LLM은 텍스트 데이터 처리와 생성에 특화되어 있어 기사 작성, 언어 번역, 질문 답변, 텍스트와 관련된 작업을 한다는 것에서 차이가 있다.