美 앨런인공지능연구소, 中 '딥시크 R1'과 유사하며, '딥시크 v3' 및 'GPT-4o' 뛰어넘는?... '툴루3 405B' 오픈소스로 공개

출처: https://www.aitimes.kr/news/articleView.html?idxno=33728

• 기자명 최창현 기자 

 

바로가기 복사하기 본문 글씨 줄이기 본문 글씨 키우기

SNS 기사보내기

페이스북(으)로 기사보내기 트위터(으)로 기사보내기 카카오스토리(으)로 기사보내기 네이버블로그(으)로 기사보내기 URL복사(으)로 기사보내기 이메일(으)로 기사보내기 다른 공유 찾기 기사스크랩하기

데이터, 코드, 학습 레시피를 포함한 완전한 오픈소스 방식으로 제공... 데이터 수집과 학습 방법까지 공개

마이크로소프트 공동창업자 이자 억만장자인 '폴 앨런(왼쪽)'은 2014년에 미국 시애틀에 기반을 두고 알렌연구소(Ai2)를 설립하여 세계에서 가장 큰 과제 중 일부를 해결하기 위해 인공지능(AI)을 개발하는 혁신적인 방법을 찾았다. Ai2는 그의 비전 덕분에 우리는 가능한 것의 경계를 넓힐 수 있었다고 밝혔다. 사진은 빌 게이츠(오른쪽)와 공동창업 당시 사진(사진:Ai2)

미국 시애틀에 기반을 둔 비영리 연구 기관인 앨런인공지능연구소(Allen Institute for AI. 이하, Ai2)가 혁신적인 오픈소스 대형언어모델 '툴루3(Tülu 3)'를 30일(현지시간) 발표하며, 인공지능 생태계에 혁신을 더하고, 중국의 인공지능(AI) 스타트업 '딥시크(DeepSeek)'에 이어 생성 AI 오픈소스 생태계에 새로운 패러다임을 제시했다.

툴루3는 데이터, 코드, 학습 레시피를 포함한 완전한 오픈소스 방식으로 제공되어, 사전 훈련된 모델을 활용한 후처리 기법 연구에 중요한 지침서 역할을 할 것으로 기대된다. 데이터 수집과 학습 방법까지 공개된 진정한 오픈소스 모델인 것이다.

특히, 사전 학습된 모델을 더욱 효율적으로 조정하고, 다양한 응용 프로그램에 적합한 방식으로 최적화하는 방법을 탐색하는 데 초점을 맞추고 있다. 이는 연구자 및 개발자들이 개방형 생태계에서 더욱 효과적으로 자연어 처리 모델을 개발할 수 있도록 지원하겠다는 Ai2의 의지를 보여준다.

로고 이미지

이번에 공개된 '툴루3(Tülu 3) 405B' 모델은 4,050억 개의 매개변수(파라미터)로 사전 훈련된 대형 모델을 기반으로 미세 조정된 버전이다. Ai2는 이 모델이 오픈소스로 제공되는 만큼, 연구 커뮤니티에서 더욱 투명하고 공정한 인공지능 모델 개발이 가능할 것으로 내다보고 있다.

지난해 9월 공개한 오픈소스 멀티모달 LLM '몰모(Molmo-보기)'에 이은 이번 Tülu 제품군의 최신 제품인 '툴루3'는 포스트 트레이닝 레시피의 확장성과 효율성을 메타의 라마 405B(Llama-405B)에 적용하여, 여러 표준 벤치마크에서 Llama 3.1 405B Instruct를 포함한 동일한 크기의 이전 오픈 웨이트 포스트 트레이닝 모델을 능가하는 동시에 딥시크의 'DeepSeek v3' 및 오픈AI 'GPT-4o'와 경쟁하거나 우수한 성능을 달성했다.

여러 평가 벤치마크에서 Tülu 3 405B의 성능을 다른 최신 모델과 비교한 표(출처:Ai2)

특히, 툴루3(Tülu 3)의 성능을 다양한 벤치마크에서 검증한 결과를 함께 공개했는데, 자체 개발한 평가 시스템을 통해 모델의 다중 기능 수행 능력을 점검했으며, 검증 가능한 보상을 통한 강화 학습(RLVR) 프레임워크가 더 큰 규모, 즉 70B과 80B에 비해 405B로 수학 성능을 더 크게 향상시킨 것으로 나타났는데, 이는 DeepSeek-R1 보고서의 결과와 유사하며, 특히 안전 벤치마크가 포함된 결과에서 딥시크 V3보다 일관된 우위를 보였다고 밝혔다. 또한 유사한 크기의 폐쇄형 API 기반 모델과 비교했을 때 경쟁력 있는 성능을 보였다고 덧붙였다.

툴루3(Tülu 3) 모델군은 공개된 사전 학습 모델을 기반으로 학습이 진행되며, 데이터 품질을 높이기 위해 정제된 데이터 필터링 기법이 적용되었다. 또한, 다양한 평가 지표를 통해 성능을 점검하고 있으며, 훈련 과정에서 더욱 효과적인 사전 훈련 및 후처리 기법을 적용하여 사용자 친화적인 언어 모델을 구축하는 데 초점을 맞추고 있다.

Tülu 3 레시피에 대한 개요. 여기에는 일반 및 목표 역량을 대상으로 하는 데이터 큐레이션, 교육 전략, 개발 및 최종 평가 단계를 위한 표준화된 평가 제품군이 포함된다.(그림:논문)

Ai2는 툴루3(Tülu 3) 모델 개발 과정에서 자연어처리(NLP) 분야에서 요구되는 다양한 기능을 강화하기 위해 심혈을 기울였다. 지식, 수학적 연산, 코딩, 명령어 수행, 논리적 추론 등의 능력을 향상시키기 위해 데이터 큐레이션과 최적화된 훈련 방식을 적용했다. 그 결과, 툴루3(Tülu 3)는 기존의 대형 언어 모델과 비교했을 때 높은 성능을 유지하면서도 더욱 투명한 연구가 가능하도록 설계되었다.

툴루3(Tülu 3)의 등장은 오픈소스 언어 모델 시장에 활력을 불어넣을 것으로 예상된다. 인공지능 연구소(Ai2)는 앞으로도 툴루3(Tülu 3)를 지속적으로 개선해 나갈 계획이며, 연구자 및 개발자들이 자유롭게 실험하고 활용할 수 있도록 지원을 아끼지 않겠다고 밝혔다. 툴루3(Tülu 3)의 공개는 인공지능 연구의 접근성을 높이고, 다양한 분야에서 혁신적인 발전을 이끌어낼 수 있는 계기가 될 것으로 기대된다.

툴루 3 사이트(보기)를 통해 405B 모델의 사용과 자세한 내용을 설명하고 있다. 또 무료 과학 연구 및 교육 도구인 Ai2의 플레이그라운드(보기)를 통해 데모를 경험할 수 있으며, 툴루 3의 세부적인 내용은 총 82쪽 분량의 논문 'Tülu 3: 교육 후 개방형 언어 모델의 지평을 넓히다(Tülu 3: Pushing Frontiers in Open Language Model Post-Training-다운)'을 참고하면 된다.

폴 앨런(사진:Ai2)

한편, 빌 게이츠(Bill Gates)와 마이크로소프트 공동 창립자 이자 억만장자이자 '폴 앨런(Paul Gardner Allen)'은 2014년에 미국 시애틀에 기반을 두고 알렌연구소(Ai2)를 설립하여 세계에서 가장 큰 과제 중 일부를 해결하기 위해 인공지능(AI)을 개발하는 혁신적인 방법을 찾았다. Ai2는 그의 비전 덕분에 우리는 가능한 것의 경계를 넓힐 수 있었다고 밝혔다.

2018년 10월 15일, 당시 향년 65세로 유명을 달리한 고인(알렌)은 평생 동안 26억 5천만 달러(약 3조9천억원) 이상의 자선 기부를 통해 멸종 위기에 처한 종을 구하고, 생명 과학에 대한 이해를 심화시키고, 예술과 음악을 공유하고, 새로운 기술을 개발하고, 전염병에 대처하고, 해저를 탐험하는 데 기여했다.