대학 수준의 수학 문제 해결하는 AI

출처: “수학 박사 나셨네”…대학 수준의 수학 문제 해결하는 AI < 기술 < 기사본문 - AI타임스 (aitimes.com)

MIT 연구원들이 대학 수준의 수학 문제를 순식간에 해결할 뿐만 아니라 교수가 학생을 지도하는 것처럼 솔루션을 단계별로 설명하거나 자체적으로 수학 문제를 만들 수 있는 AI 신경망 모델을 개발했다.

컴퓨터는 인간보다 훨씬 빠르고 정확하게 계산할 수 있지만 일반적인 지능은 부족하다. 잘 정의된 수학 문제에 직면했을 때에도 기계 학습 알고리즘은 종종 난감해진다. 심지어 간단한 고등학교 수준의 수학 문제에 대해서도 마찬가지다.

전 세계의 많은 학생들이 '대규모 공개 온라인 교육과정(MOOC)'에 등록되어 있으며, 그 중 일부 과정엔 수천 명의 학생이 동시에 참여하고 있다. 기존 교실에 비해 MOOC의 주요 단점은 학생과 교사간 상호 작용이 최소화되거나 존재하지 않는다는 것이다. 교사가 24시간 동안 답변할 수 있는 이메일은 몇 개나 될까? 새로 개발된 AI는 학부생에게 수학 문제를 해결하는 데 필요한 단계를 보여주는 자동화된 교사 역할을 할 수 있다.

MIT 전기 공학 및 컴퓨터 과학부(EECS)의 강사이자 이 연구의 주 저자인 잇도 드로리(Iddo Drori)는 "우리는 이것이 고등 교육을 향상시킬 것이라고 생각한다"며 “학생들의 실력 향상에 도움이 될 것이고, 교사들이 새로운 콘텐츠를 만드는 데 도움이 될 것이며, 일부 과목의 난이도를 높이는 데도 도움이 될 것이다"고 말했다. "또한 질문과 학과 과정에 대한 그래프를 작성할 수 있으므로 데이터를 기반으로 학과 과정과 선수과목 간의 관계를 이해하는 데 도움이 된다”고 주장했다.

드로리와 동료들은 복잡한 수학 문제를 해결할 수 있는 AI를 만드는 작업에 처음 착수했을 때 많은 장애에 부딪쳤다. 텍스트만을 사용해 사전 훈련된 모델을 시도했을 때 고등학교 수학 문제의 정확도는 최악이었고, 정답을 맞추는 경우는 8%에 불과했다. 

전환점은 연구원들이 독창적인 아이디어를 적용했을 때였다. 그들은 이전에 본 적이 없는 학부 수학 과정의 많은 질문을 모델에 제시하고 수학 문제를 프로그래밍 작업으로 변환했다. 예를 들어 연구원들은 AI에게 '점 A와 B 사이의 거리를 찾아라'라고 묻는 대신 컴퓨터 프로그램에 '두 점 사이의 거리를 찾는 프로그램을 작성하라'고 지시했다. 그것은 꽤 효과가 있었다.

그러나 수학 문제를 프로그래밍 작업으로 변환하는 것은 쉬운 일이 아니다. 이러한 문제는 올바르게 구문 분석이 되고 해결되기 위해 몇 가지 추가 컨텍스트가 필요하다. 이 컨텍스트는 일반적으로 학생들은 학과 과정에서 알 수 있지만 신경망은 접근하기 어렵다.


코덱스는 수학 문제를 프로그래밍 작업으로 변환한다.(사진=오픈AI)
미국 국립과학원회보(PNAS)에 게재된 논문에 따르면 연구원들은 깃허브(GitHub)와 같은 온라인 리포지토리에서 수백만 개의 코드 예제와 수백만 개의 자연어 단어로 사전 훈련된 코덱스(Codex)라는 신경망을 사용했다. AI 연구개발 회사 오픈AI가 만든 코덱스는 자연어 명령을 12개 이상의 프로그래밍 언어로 된 코드로 변환해준다.

기본적으로 그들이 구축한 모델은 텍스트와 코드를 모두 이해할 수 있었다. 몇 가지 질문 대 코드 예제만 있으면 새로운 AI는 수학 문제와 같은 텍스트 질문을 해석한 다음 문제에 답하는 코드를 실행할 수 있다. 텍스트-코드 접근 방식은 수학 문제를 푸는 데 80% 이상의 정확도를 기록했지만 이전 모델의 경우 8%에 불과했다.

이 모델은 또한 새로운 질문을 생성하는 데도 사용됐다. 신경망에 먼저 주제와 관련된 일련의 수학 문제를 제공한 후 새로운 문제를 생성하도록 요청했다. 학부 수학 과정에 있는 학생들에게 10개의 수학 문제(그 중 5개는 인간이 만들고 나머지 5개는 AI가 만든 문제)를 보여주었을 때 이들은 AI가 생성한 문제를 발견하지 못했다.

드로리는 이 모델에 대해 “일부 주제에서는 우리를 놀라게 했다. 예를 들어 수평선과 수직선의 양자 검출에 대한 질문이 있었고 대각선의 양자 검출에 대한 새로운 질문이 생성됐다. 따라서 단순히 기존 질문에서 값과 변수만 바꿔서 새로운 질문을 생성한 것이 아니다”라고 설명했다.

AI타임스 박찬 위원 cpark@aitimes.com

출처 : AI타임스(https://www.aitimes.com)