2018년 미국의 레딧 사이트에 공개된 도널드 트럼프 전 미국 대통령이 한국말을 하는 영상은 큰 화제를 모았다. 평소 트럼프 전 대통령의 말투 그대로에 어설픈 한국어로 "나는 한국어를 배운 적이 없어요. 북한의 리더 김정은을 만나려고 이 기술을 준비했습니다"라고 말하는 실제 같은 이 영상이 인공지능(AI)로 만들어진 것이 밝혀지면서, 9시 뉴스, 아침프로 등에 연이어 소개됐다.

이 영상을 만든 AI 스타트업인 네오사피엔스는 지난해 휴먼 다큐멘터리 '너를 만났다'로 또 한번 화제를 모았다. 장지성 씨가 가상현실(VR) 기술로 3년 전 난치병으로 하늘로 떠나보낸 일곱살 나연이를 만나는 장면은 유튜브 조회수 2800만뷰를 넘길 정도로 큰 감동을 선사했다. VR 기업 비브스튜디오스와 협업한 네오사피엔스는 이 영상에서 AI 기술로 음성을 합성해 자연스러운 나연이 음성을 복원해냈다.

네오사피엔스 김태수 대표는 "나연이의 음성을 기본으로 하고 또래 아이 여러 명의 목소리를 녹음했고, AI 딥러닝 기술을 이용해 나연이 음성을 복원할 수 있었다"고 말했다.

네오사피엔스는 이 같은 'AI 음성합성 기술'로 시장에 잘 알려져 있지만, 김 대표는 꼭 AI 음성합성 기술에만 국한되지 않는 'AI 기술로 미디어 엔터테인먼트 산업을 혁신하는 회사'라고 소개했다. 그는 우리나라가 미디어 엔터테인먼트에 경쟁력이 있다고 판단해 관련 사업을 시작했고, AI로 글 쓴 것을 말하고 연기하게 하기 위한 기술을 개발해왔다.

"2017년 창업 당시 인공지능이 어떻게 하면 사람처럼 될까 고민했어요. 전 직장에서 음성인식 기술을 개발해왔지만, 듣는 영역은 이미 잘 돼 있는 데 반면 표현하는 영역은 초기 단계여서 3년에서 5년이 지나면 크게 발전하겠다고 생각했어요."

그는 카이스트에서 전자공학과 브레인엔지니어링(뇌공학)으로 박사학위를 받았으며, LG전자 정보기술연구소에서 근무하다 퀄컴에 이직해 컴퓨터비전과 음성인식 기술을 개발해온 'AI 음성' 분야 전문가이다.

"퀄컴 동료들과 카이스트 연구실 후배와 같이 창업해 감정을 표현하는 음성 합성 기술을 개발했어요. 2017년 세계적인 AI 학회 뉴립스학회 워크숍에 논문을 냈는 데, 당시 딥러닝 방식으로 감정을 합성한 것은 전 세계 최초였어요. 국내에서도 6개월 정도가 지나 유사한 기술들이 나오기 시작했어요."

네오사피엔스가 개발한 높낮이, 운율 등을 조절해 감정을 표현하고, 사람 목소리에 외국어를 합성하는 기술은 아직도 아마존 논문에서는 '운율이 조정되는 음성합성 기술'로 소개되고 '6초 음성으로 목소리를 카피하는 것이 가능해졌다'는 내용으로 구글, 페이스북 등 글로벌 기업 논문에 최근까지도 소개되고 있다.

"비디오를 제작할 때 성우를 쓰려면 비용이 비싸고 대량 생산이 불가한 단점이 있어요. 오디오북을 400페이지 정도 녹음하려면 6~7시간 녹음해야 하고, 700~800만원의 비용이 소요돼요." 사람 성우를 사용하면 1년 내내 온갖 스튜디오를 다 동원해도 오디오북을 몇 천권 제작하는 데 그치게 된다. 김 대표는 성우가 직접 출연하지 않고 AI 성우로 내레이션을 한다면 효율은 극대화될 것이라 생각했다.

이 같은 아이디어로 2019년 AI 성우 '타입캐스트(typecast)'을 출시, 현재 60여종의 AI 성우 음성을 제공하고 있다. 타입캐스트 서비스는 유튜버 등 콘텐츠 크리에이터 등에게 큰 호응을 얻으면서 가입자수 61만명을 돌파했고, 돈을 내고 쓰는 유료 가입자수도 수천명에 이른다. 요금은 1만 5900원부터 대량으로 사용하는 기업은 월 150만원을 내는 곳도 있다.

"방송국 PD들도 돈을 내고 저희 서비스를 이용하는 데, '도시어부2'에도 활용됐습니다. 방송국에서는 높은 퀄리티가 보장되어야만 서비스를 사용하기 때문에 기술력은 이미 인정받은 셈입니다. 넷플릭스나 카카오TV 등 내일이나 모레 바로 나가는 방송을 편집할 때도 성우를 바로 가져다쓰면 돼 편리합니다."

네오사피엔스는 밀레의 서재랑 협력해 오디오북을 제작하는 데 AI 성우를 제공하고 있다. 그는 "오디오북은 1달에 수백권을 녹음하기 힘든데, AI로 500권도 거뜬히 녹음할 수 있고, 비용은 1/10로 줄일 수 있다"고 강조했다.

김 대표는 최근 릴 미켈라 등 AI 휴먼이 큰 활약을 펼치고 있지만, 실제 콘텐츠를 만들려면 사람이 모션 캡션슈트를 입고 동작하고 뒤에 성우가 붙어 연기를 하는 등 작업을 진행해야 해 상당히 비효율적이라고 설명했다. "사람이 일일이 하지 않고, 텍스트로 음성을 만들고, 얼굴 표정에 대한 파라미터를 만들면 가상휴먼이 나오는 콘텐츠를 만들 수 있습니다. 딥페이크 기술로 사람 형상 캐릭터를 만들 수 있는 데, 하반기에 이 같은 AI 연기자 서비스를 선보일 계획입니다."

이를 통해 음성 합성에 영상 합성까지 아우르는 AI 휴먼 플랫폼을 제공할 생각이다.

"AI 연기자의 가능성은 무궁무진합니다. 메타버스 상에서 가상 연기도 가능해집니다. 말하는 간단한 동작부터 동적인 3D 모션까지 서비스를 제공할 수 있습니다."

최근 작은 회사를 운영하며 영상 콘텐츠를 제작하는 사람들이 많은데 그들이 연기자를 고용하고 스튜디오를 섭외하는 데 큰 부담을 느끼는 만큼, 수요도 증가할 것으로 기대하고 있다.

"타입캐스트는 교육업체인 하이브에듀는 물론 엔터테인먼트·OTT(온라인동영상서비스) 회사에서 사용돼 매년 5~6배씩 성장하고 있습니다. 내년에는 100억원의 매출을 넘기는 것을 목표로 하고 있습니다.

그는 올해 글로벌 서비스를 잘 셋업하는 데도 중점을 둘 계획이다.

"저희 서비스는 국내 사용자가 중심이지만, 8개 나라에서 사용되고 해외에서 유료로 사용하시는 분들이 생겨나는 만큼, 글로벌 서비스로 확대할 생각입니다. 지난해 미국 법인도 설립해 영어 사이트도 오픈했고, 이미 외국인들을 고용해 외국어로 바로 쓸 수 있는 성우 음성도 제공하고 있습니다."

김 대표는 지금까지 총 62억원의 누적 투자를 받았지만, 공격적 행보를 위해 올 하반기 시리즈 B 투자 유치에도 나설 계획이다.

"디지털 휴먼으로 AI 연기자, 아나운서, 배우, 광고모델 등 서비스를 제공할 계획입니다. 또 타입캐스트를 AI 쇼호스트나 강사 등을 필요로 하는 사람들이 누구나 와서 사용할 수 있는 플랫폼으로 키워나갈 예정입니다. 또 전 세계 어느 언어든지 서비스가 가능하도록 확장해나갈 생각입니다."