[2021년 주목받을 IT 신기술은 1] 'GPT-3'로 주목받는 AI 언어 모델

4차 산업혁명 시대에 접어들고 코로나19로 인한 '언택트' 추세가 가속화되면서 인공지능(AI), 자율주행로봇, XR(확장현실) 등 신기술에 대한 관심이 뜨겁다. AI는 지난해 'GPT-3'의 등장으로 언어모델이 새롭게 주목받고 있으며, AI 아나운서·더빙 서비스 등으로 AI 영상·음성합성 기술이 관심을 모으고 있다. 메트로신문은 2021년 산업계를 뜨겁게 달굴 신기술을 미리 짚어본다. [편집자주] 지난해 인공지능(AI) 분야의 가장 큰 이슈는 AI 언어 생성모델인 'GPT(Generative Pre-trained Transformer)' 3세대 모델의 등장이었다. 2016년 '알파고 쇼크' 이후 올해 '현존하는 세계 최강의 AI'로 평가받는 GPT-3의 등장으로 '향후 5년 이내에 AI가 인간을 추월할 것'이라는 전망까지 나오고 있으며, 전 세계에서 'GPT-3 따라잡기'가 시작됐다. 올해도 대표 AI 기업들의 GPT-3를 능가하는 언어 모델 개발 도전은 이어질 것이며, GPT-3를 산업에 활용하려는 시도가 잇따를 것으로 보인다. ◆'GPT-3가 뭐길래'...특정 영역 아닌 종합 언어능력 탁월 그동안 AI 언어모델은 아직은 초기 단계로 자연어처리, 번역 등에 뛰어난 성능을 나타내온 구글의 AI 언어모델 '버트'가 시장을 주도해왔다. 또 GPT-3의 이전 버전인 'GPT-2'가 경쟁해 왔으며, 2017년 구글이 처음 제안한 '트랜스포머(기계신경망 번역)' 모델이 이들의 기반이 됐다. 트랜스포머는 단어를 양방향으로 확인하는 인코더와 단방향으로 생성하는 디코더를 동시에 포함해 위치가 떨어져 있는 단어도 파악하기 때문에 문장을 잘 이해하지만, 다음 단어를 만드는 '생성모델'로 활용되기에는 한계가 컸다. GPT는 단방향성이 특징인 신경망생성모델(RNN)로 단어를 주면 그 다음 단어를 예측하고, 예측된 단어를 다시 입력해 다음 단어를 예측하는 식으로 문장을 만들게 된다. 일론 머스크 테슬라 최고경영자 등이 설립한 비영리 AI 연구기관인 오픈AI는 지난 6월 1일 강력한 언어모델인 GPT-3를 공개했다. 당연히 사람이 쓴 줄 알았던 글이 AI가 쓴 걸로 밝혀지며 세상에 큰 충격을 안겼다. GPT-3는 뒷 단어를 예측하는 단순한 방식인데도 학습 데이터로 인터넷상에 존재하는 모든 영어문서를 사용하다 보니 믿기 힘들 정도의 성능이 가능해졌다. 파라미터(매개변수) 수가 1750억개로 GPT-2(15억개) 대비 100배 이상 늘어난 것. 후속 버전으로 준비 중인 'GPT-4'는 파라미터가 무려 100조개에 이르는 것으로 알려줘 놀라움을 안기고 있다. 김종윤 스케터랩 대표는 "구글의 버트는 언어이해를 담당하고, GPT-2는 언어생성에 초점이 맞춰져 있었다"며 "언어이해가 더 중요하기 때문에 그동안 구글이 시장을 리드해왔는데, 앞으로 GPT-3 활용에 대한 다양한 시도가 이뤄질 것"이라고 내다봤다. 'GPT-3'는 "'파이널판타지6'의 마지막 보스가 누구냐"는 질문에도 잘 대답하며, 한 이용자가 캘리포니아 LA에서 2018년부터 지금까지 소프트웨어 엔지니어로 일했다는 것을 적으니 세부 설명까지 달아 제대로 된 이력서를 작성해줬다. 또 평범한 제목을 낚시성 제목으로 바꿔주기도 하고, 텍스트 내용을 요약해 표도 만들어줬다. 특히, 이전에 학습되지 못한 코로나19에 대해서도 상황만 설명해준다면 자연스럽게 대화를 이어갈 수 있다. 문제 풀이 능력은 이미 일반인 수준까지 올라선 것으로 평가된다. 김종윤 대표는 "GPT-3가 놀라운 점은 특정 영역 만 잘 하는 게 아니라 인간이 생각할 수 있는 모든 언어활동을 잘 하기 때문"이라며 "특별히 가르쳐준 적도 없고 학습한 적이 없는데도 척척 대화하는 제너럴한 언어능력을 보여준 것으로, 불과 1년 전만 해도 아무도 상상하지 못했던 수준"이라고 평가했다. 다만, GPT-3는 '태양에 발이 몇 개 있지?'와 같은 질문에 '8개'라고 대답하는 등 너무 뻔한 일반 상식은 글로 남긴 데이터가 많지 않아 제대로 답변하지 못하고, 이전 것을 기억하지 못하는 한계가 있어 '너무 과장된 평가'라는 지적도 잇따르고 있다. 또 오픈AI는 그동안 AI 결과물들을 무료로 공개해왔지만, 마이크로소프트(MS)가 GPT-3의 독점 라이선스를 지난 9월 획득해 사실상 유료화로 많은 비난을 받기도 했다. ◆'GPT-3 능가할 언어모델 만들자' 네이버 등 AI 기업 도전...해외에서도 GPT-3 경쟁모델 개발 본격화 국내에서는 지난 10월 네이버가 가장 발빠르게 GPT-3를 능가할 한국어, 일본어 초거대 언어모델을 만들겠다고 밝혔다. 이를 위해 국내 기업 최초로 슈퍼컴퓨터를 구축해, 경쟁력을 한 단계 끌어올릴 계획이라고 설명했다. 초거대 언어모델로 자연스러운 언어처리가 가능해질 것으로 예상되지만, 이를 위해 방대한 데이터 등을 빠르게 처리할 수 있는 슈퍼컴퓨터가 반드시 필요하기 때문이다. 특히 GPT-3가 영어문서를 기반으로 학습됐기 때문에 한국어 모델은 충분히 경쟁력을 가질 수 있다. 또 MS가 GPT-3를 활용한 미래 금융 서비스 실험을 국내에서 추진할 예정이어서 관심이 모아진다. 한국MS는 신한은행과 '디지털 미래 금융 서비스 혁신을 위한 전략적 파트너십'을 체결하고 GPT-3 접목을 시도할 예정이라고 밝혔다. 신한은행은 MS의 기술로 금융혁신 연구개발 협업공간인 '익스페이스'를 구축할 예정이다. 학계에서도 GPT-3 활용을 위해 연구에 나섰다. 서울대 컴퓨터공학부 전병곤 교수 연구팀이 구글 클라우드의 GPU(그래픽 처리 장치) 1000대 가량의 컴퓨팅 자원을 활용해 연구에 착수했다. 미국 등 해외에서도 GPT-3에 맞설 AI 언어모델 개발을 위한 노력이 이어지고 있다. 노스캐롤라이나대(UNC) 연구진이 AI 모델에 컴퓨터 비전을 결합해 30억 단어의 영문 위키피디아 내용과 이미지를 40% 일치시키는 성과를 거뒀다. GPT-3는 '언어만으로 학습이 가능한가'라는 의문을 남기며 시각적인 것에 한계가 있다는 지적을 받았는데, 이 연구는 이 같은 한계를 극복한 것이다. 강력한 라이벌 '버트'를 보유한 구글도 최근 인공지능을 단 25초 만에 학습시킬 수 있는 머신러닝 슈퍼컴퓨터를 공개하며 GPT-3에 맞서고 있다. AI칩의 성능 테스트 결과, 구글의 슈퍼컴퓨터는 현재까지 최고 기록을 세운 TPUv3와 비교해 용량이 4배나 더 크다.