인공지능(AI)기반의 종합 음성 플랫폼 기업 일레븐랩스는 음성 AI 모델 '더빙 v2' 출시했다고 16일 밝혔다.

더빙 v2는 90여개 언어로 다국어 더빙을 수행하는 신규 음성 AI 모델이다. 특징은 원본의 감정과 톤, 억양 등을 반영해 다른 언어권 시청자에게 그대로 전달한다. 단어를 직역하는 방식이 아닌 문맥에서 가장 자연스럽게 들리는 표현으로 번역과 조정을 수행해 몰입감을 높인다.

또 번역후 생성된 음성이 원본의 시작과 종료 타이밍에 맞춰 자연스럽게 정렬되도록 설계했다. 영상 자체를 조작하거나 립싱크를 강제로 생성하는 방식이 아니라 발화 타이밍을 매끄럽게 맞춰 영상 시청의 어색함을 줄여준다.

자동 보이스 클로닝 기능도 돋보인다. 원본 화자의 음색, 피치, 톤을 자동 반영해 별도의 수동 클로닝 과정 없이도 화자 고유의 개성을 살린 다국어 더빙 생성이 가능해진다.

회사 측에 따르면 해당 기술은 드라마, 영화뿐 아니라 게임 또는 인터랙티브 콘텐츠 등에서 다양하게 활용된다. 게임 캐릭터의 대사, 컷신, 튜토리얼 영상을 원본의 분위기와 캐릭터성을 유지하면서 다국어로 확장한다. 유튜브 크리에이터는 본인의 목소리를 살려 해외로 콘텐츠 범위를 넓힐 수 있다. 이 밖에 교육 콘텐츠나 관광 홍보 영상, 기업의 경영진 및 제품 소개 등에도 사용된다.

한편, 더빙 v2는 일레븐랩스 플랫폼에서도 고품질 다국어 더빙을 제작할 수 있도록 지원한다. 기업 고객을 대상으로 응용 프로그램 프로그래밍 인터페이스(API) 제공을 순차적으로 확대할 계획이다.

홍상원 일레븐랩스 한국 총괄은 "번역된 음성이 마치 원본 화자가 실제로 그 언어를 구사한 것처럼 느끼게 만드는 것은 그동안 AI 더빙 분야의 가장 큰 난제 중 하나였다"며 "이번에 선보인 '더빙 v2'는 정교한 감정 재현력과 뛰어난 싱크를 바탕으로, 국내 크리에이터와 마케터, 콘텐츠 기업들이 언어의 장벽을 넘어 전 세계 사람들과 더 깊고 자연스럽게 소통하는 강력한 교두보가 될 것"이라고 말했다.