A.I.(LLM) 역사

출처: 미라클레터(매경미디어그룹)

1.   인류 첫 프로그래머

2.   기계와 인간의 차이

3.   첫 AI 퍼셉트론

4. 오픈AI의 뿌리 힌튼

 

 

에이다 러브레이스와 알고리즘

인류 첫 프로그래머

에이다 러브레이스

 

인류 최초의 계산 도구는 주판인데요. 과학이 발달하면서 어느순간 사람들은 주판알 튕기는 것마저 귀찮아졌어요. 그래서 계산을 자동으로 할 순 없을까 하는 생각을 했습니다. 1642년 프랑스의 수학자인 파스칼이 아버지가 계산에 지쳐어하는 모습을 보고 덧셈 뺄셈을 할 수 있는 자동 계산기를 만들었는데요. 파스칼의 부친이 세금 징수원이다보니 계산을 할 일이 많았다고 합니다.

 

계산기계를 만든 인류 

 

생각은 생각을 부릅니다. 아이디어는 또 다른 아이디어를 낳고요. 파스칼이 만든 파스칼라인을 목도한, 독일의 수학자 고트프리트 라이프니츠는 더 담대한 계획을 세웁니다. 열 두 자리에 달하는 숫자를 사칙 연산할 수 있는 자동 계산기인 이른바 스텝드 레코너를 만든 것이죠. 이때가 1674년이었습니다. 한국에서는 숙종이 즉위한 해고요. 한데, 또 다른 아이디어가 나왔습니다. "어라, 덧셈 뺄셈 곱셈 나눗셈도 할 수 있으면 미적분도 할 수 있는 것 아닐까?"

 

네 그렇습니다. 영국의 수학자 찰스 배비지는 무릎을 치고 연구에 연구를 거듭했어요. 당시 배비지는 천문학회에서 활동했는데, 당대 천문학자의 고민은 딱 하나였어요. 수치 계산표를 일일이 검산하는 것. "아 귀찮아." 1822년 마침내 배비지는 시제품으로 차분기관을 만듭니다. 사칙 연산은 물론 미분과 적분까지 가능한 괴물 기계! 2만5000개에 달하는 부품으로 이뤄졌으며 무게가 15t에 높이는 2.4m에 달했어요. 하지만 당시 기술로는 너무 복잡해 양산 실패...

 

두뇌를 수학으로 풀어볼까? 

 

자동 계산 이야기를 드린 이유는, 인공지능 구상 역시 자동화의 꿈에서 시작됐다는 점을 알려드리고 싶어서였어요. 배비지의 눈부신 차분기관을 본 영국의 여성 학자가 있었는데요.

 

혹시 ADA라는 프로그램(프로그램계의 에스페란토어)을 들어보셨을텐데요. 네 맞아요! 백작부인인 에이다 러브레이스는 양산되지도 않은 배비지의 차분기관을 보고 나서, "오! 너무 멋진 아이디어야"라고 외치고, 유리수 수열인 베르누이 수를 구하는 알고리즘을 처음으로 작성했어요. 그래서 그는 인류 최초의 프로그래머라는 별명을 갖게 됐습니다.

 

인공지능 역사에서 러브레이스가 중요한 위치를 차지한 이유는, 인류의 기록된 역사 중에서 인공지능 개발에 대한 첫 아이디어를 낸 인물이라는 점입니다. 그는 1844년 전기학자에게 보낸 한 통의 편지에서 이렇게 적었어요. 

 

“나는 지금 그 어느 때보다도 과학의 신부입니다. 나에게 종교는 과학이고 과학은 종교입니다. 인간의 뇌가 생각하고 감정을 느끼게 하는 신경계 알고리즘을 수학적으로 규명하고 싶어요.”

 

인간의 두뇌를 수학적으로 증명하겠다는 인류의 첫 야심이었습니다.

 

기계 인간의 차이

일 시켜보면 안다

 

이런 아이디어는 수많은 사람들한테 영감을 줍니다. 20세기에 접어들면서 인류는 수학을 종교로 받아들이기 시작했습니다. 특히 버트런드 러셀과 논리학자인 앨프리드 노스 화이트헤드는 불후의 명작인 《수학 원리》를 1910~1913년에 출간했는데요. 기존의 애매한 언어로 적혀 있는 논리학을 수학으로 대체할 수 있다고 주장한 것입니다.

 

이들의 생각은 정말 엄청나게 많은 컴퓨터 과학자들에게 영향을 줍니다. 수학으로 모든 것을 할 수 있다는 것은, 곧 컴퓨터로 모든 것을 할 수 있다는 뜻으로 연결이 됩니다.

 

기계와 인간의 차이

 

2014년 베네딕트 컴버배치가 주연한 영화 《이미테이션 게임》을 보셨나요? 네 맞습니다. 앨런 튜링이 등장하는 영화인데요. 케임브리지대 교수로 재직하던 튜링은 제2차 세계대전 당시 나치 독일군의 암호를 풀어 연합군이 승리하는데 기여한 인물!

 

튜링이 유명해진 것은 암호해독기가 아니고요. 그가 1950년 발표한 논문 ‘계산 기계와 지능’때문입니다. 인공지능이 아닌 기계지능이라는 표현을 쓰긴 했지만, 그는 인간이 인공지능을 개발해 체스 언어 암호 풀이 등에 쓸 수 있는 날이 올 것이라 굳게 믿었습니다.

 

튜링 테스트

 

당시에는 사실 신경과학이나 두뇌 과학이 발전이 안돼 있었어요. 우리 두뇌가 어떻게 작동하는지 몰랐습니다. 그래서 그는 인공지능 개발을 위한 한 가지 지능 실험을 제안하는데요.

 

그게 바로 튜링 테스트입니다. 튜링은 마음과 지능 그리고 인간에 대한 정의는 제쳐두고, 인간에 준하는 지능은 어떻게 판별할 수 있을지, 그리고 이 테스트를 통과할 수 있는 기계인 인공지능을 만들 것을 제안합니다. “원인은 알 필요 없어요. 결과만 알면 됩니다.”

 

튜링 테스트는 매우 간단해요. 질문자, 답변자, 컴퓨터(인공지능)이 필요합니다. 이들을 서로 볼 수 없는 방에 들어가게 한 뒤, 서로서로 채팅을 하면 됩니다. 여기서 중요한 것은 질문자가 보낸 질문을 사람과 인공지능이 동시에 답변하는 것인데요. 만약 답변자의 답변과 컴퓨터의 답변을 질문자가 못 알아차린다면? 튜링테스트를 기계가 통과한 것이라고 볼 수 있습니다.

 

중국어 방 사고실험

 

하지만 기계 지능과 인간 지능을 같은 선상에 둔 것에 대한 반발은 심했습니다. 철학자인 존 설은 튜링 테스트로는 기계가 지능이 있는지 없는지 알수 없다고 반박! 그 유명한 ‘중국어 방’이라는 실험인데요.

 

서로 따른 방에 앉아서 질문자가 중국어로 작성된 메모지를 밀어 넣으면, 답변자가 중국어를 하는지 못하는지 알아내는 실험입니다. 존 설은 이렇게 말했어요. “봐라, 저 방에 있는 답변자가 중국어를 전혀 못하더라도, 사전이 있어서 이를 베껴 제출하면 어떨까? 그러면 저 사람이 중국어를 할 수 있다고 생각하니”

 

시스템 이론의 재반박

 

튜링 테스트 논쟁은 100년째 진행중입니다. 특히, 특이점이 온다로 유명한 레이 커즈와일은 튜링편을 들었어요. “우리 두뇌도 언어를 전혀 모르는데 뉴런과 시냅스 반응으로 인간은 결국 말을 하지? 중국어 방 하나를 시스템으로 보면, 저 사람은 중국어를 한다고 할 수 있어” 하고요.

인공신경망을 만든 로젠블랫

첫 인공지능

바로 퍼셉트론!

 

오늘날 인공지능을 닮은 인공신경망을 지닌 최초의 알고리즘은 프랑크 로젠블랫이 만든 퍼셉트론인데요. 그는 1957년 퍼셉트론이라는 인공 신경망 시스템 모델을 발표했어요. 인터뷰에서 이렇게 설명했고요. “스스로 학습할 수 있는 인공신경망은 나중에 인간의 두뇌처럼 사고하고, 다른 행성에 보내 우주탐사 활동에도 쓰일 것입니다.” 로젠블랫이 모방하려고 했던 것은 두뇌의 작동원리였습니다.

 

기억은 연결이다

 

당시 학계에는 기억에 대한 두가지 학설이 있었어요. 첫 째는 신경망으로 들어오는 신호를 저장하는 별도의 기억장치가 존재한다는 학설, 둘째는 신경망에 있는 연결 자체가 신호를 저장한다는 학설. 로젠블랫은 후자를 입증하고 싶었어요. 퍼셉트론은 단일 뉴런을 갖춘 인공신경망인 뉴럴 네트워크인데요. 시각에 해당하는 인풋 노드(인풋 층)가 있고 여기에 들어온 정보를 한 개의 뉴런에 해당하는 인풋 유닛에 전달해요. 인풋 유닛은 패턴을 분류하고 그 결과 값을 아웃풋 유닛에 전달하는 구조입니다.

 

실패...찾아온 인공지능 겨울

 

즉 이미지 정보가 들어오면, 이게 참인지 거짓인지 판별을 할수 있는 간단한 인공지능이었어요. 퍼셉트론의 가치를 눈여겨 본 것은 미군이었어요. 로젠블랫은 미국의 해군연구소의 지원을 받아 이미지를 보고 탱크인지 아닌지를 식별하는 업무를 진행했어요. 이 같은 소식은 미국 미디어에 전해졌고, 당시 뉴욕타임스는 ‘스스로 배우는 전자 두뇌’라는 제목의 기사를 게재했어요. 그러면서 “훗날 퍼셉트론은 사람을 인식하고 그들의 이름을 부르며 연설이나 글을 즉각적으로 작성할 것”이라고 소개했습니다.

 

하지만 퍼셉트론은 예상과 달리 탱크를 분류하는데 너무 많은 시간을 소모했고. 이미지 인식 기계가 아니라 시간 소모 기계라는 악평이달리면서, 그 유명한 인공지능 겨울이 찾아왔습니다. 지원이 끊긴 것이죠.

 

오픈AI 공동창업자 슈츠케버(왼쪽), 그의 스승 힌튼 교수(오른쪽)

AI 부활시킨 스승

오픈AI 차린 제자

 

1950년대 들어 로젠블랫이 못다한 연구를 진행하려는 사람이 있었어요. 바로 영국 청년 제프리 힌튼인데요. 그는 사람의 두뇌와 닮지 않은 인공지능은 반드시 한계가 있을 수밖에 없다고 믿었어요.

 

힌튼은 케임브리지대에서 생리학과 물리학을 전공했고 이어 에딘버러 대학원에서 철학과 심리학을 전공했는데요. 이후 미국으로 넘어와 인공지능을 연구했습니다. 힌튼이 보기에 물리학은 세상을 이해하는데 있어 너무 단순했고 생물학은 너무나도 복잡했대요. 물리학은 힘을 설명하는데 유용했지만, 두뇌 회로처럼 목적을 갖고 있는 생물을 설명할 순 없었던 것이죠.

 

여러 층을 쌓아라

 

그는 1950년대 태동한 신경생물학으로부터 큰 영향을 받았는데요. 하지만 인공지능이 인류를 위협할 수 있고 무기로 사용할 수 있다는 생각에 미국이 아닌 캐나다에서 활동을 합니다.

 

여기서 그의 수제자인 일리야 슈츠케버를 만납니다. 슈츠케버는 그 유명한 챗GPT를 만든 오픈AI의 공동창업자! 힌튼은 퍼셉트론이 실패한 이유를 인풋유닛인 노드(뉴런에 해당)가 하나뿐이라는 사실을 파악했고, 여러 층을 쌓는 다층 구조와 이를 효율적으로 연산할 수 있도록 하는 역전파 방식을 연구해 발표했습니다. 그래서 힌튼은 오늘날 딥러닝 연구의 아버지라고 불립니다.

 

MLP(Multi-Layer Perceptron)는 노드를 여러 층(레이어)으로 구성한 인공 신경망인데요. 두뇌인 네트워크.에서 뉴런에 해당하는 각 노드는 이전 계층의 노드에서 입력을 받고 해당 입력을 토대로 출력을 합니다. 이 같은 방식으로 MLP는 복잡한 패턴까지 학습할 수 있으며, 잡음이 많은 데이터를 처리하는데 탁월한 성능을 보여줬어요.

 

RNN과 CNN 모델

 

이후 힌튼과 제자들은 공지능 네트워크에서 인풋과 아웃풋을 되먹임인 피드백하는 순환신경망(RNN)과 연산을 통해 이미지로부터 필요한 특징을 스스로 학습할 수 있는 신경망인 합성곱신경망(CNN)을 잇따라 발표했고요. 덕분에 음성인식이나 자연어처리 같은 시간 처리가 필요한 문제들이 실마리를 찾기 시작

 

창업과 구글 인수

 

이후 힌튼과 그의 제자들은 DNN리서치라는 스타트업을 창업하는데요. 구글이 이듬해 DNN리서치를 인수해 이미지 검색 기능을 크게 향상시킵니다. 힌튼은 구글 브레인의 석학 연구원으로 재임했고 슈츠케버는 3년간 구글에서 일하다 2015년 자리를 박차고 일어섰어요. 그리고 테슬라의 일론 머스크 CEO, 미국의 대표 액설러레이터 와이콤비네이터의 샘 알트만 CEO와 공동 창업을 했죠. 바로 이 것이 오늘날 오픈AI입니다.

 

첨언

그 이후, 2017년 구글은 트랜스포머 모델을 발표해요. 오픈AI의 GPT나 구글의 BERT 모두 트랜스포머 모델을 근간으로 하는데요. 여기서 핵심은 셀프 어텐션입니다. 한번 우리 두뇌를 생각해 볼게요. 한 남성이 좋아하는 여성에게 프러포즈를 한다고 가정 하고,

 

'아... 그, 저 말이야. 너 나랑 결혼해 줄래?'라는 말을 내뱉는다면, 이 프러포즈를 받은 여성의 두뇌는 '아... 그, 저 말이야.' 보다는 '너 나랑 결혼해 줄래?'라는 단어에 민감하게 반응합니다.

 

인공지능도 저런 엄청난 데이터들이 들어오면, 무엇이 중요한지 혼동이 옵니다. 그래서, 인풋 데이터가 들어올 때, 집중!! 할 수있도록 셀프어텐션 층(필터라고 보심 됩니다)을 만들어 중요 단어를 빨리 식별할 수 있게 한 것이죠. 이를 통해 아무리 문장이 길어지더라도 정확한 문맥을 이해할 수 있게 됐다고 하고요.

 

인류의 역사는 도구의 역사이자, 자동화의 역사이기도 합니다. 300만년 전 인류가 구석기 시대를 펼칠 수 있었던 것은 손으로 무엇인가를 깨기에는 손이 너무 아팠기 때문일텐데요. 그 이후 인간은 무엇인가 끊임없이 만드는 존재였습니다. 인간은 태어날때부터 귀차니스트인 것 같아요.

 

오늘은 인공지능 180년사에서 획을 그은 이벤트 중에 핵심만 살펴봤는데요. 이런 역사를 보다 보면, 인공지능을 두려워 할 필요는 없다는 생각이 듭니다. 300만년과 인간은 도구를 늘 옆에 두었거든요.