버추얼 휴먼 기술이 우리 일상 속 깊숙이 자리 잡았다.

피부 솜털과 잔머리, 모공까지 구현한 사실적인 그래픽은 탄성이 절로 나온다. 버추얼 아이돌의 데뷔곡 뮤직비디오 조회 수가 2천만이 넘는가 하면, 라이브 쇼핑에 쇼호스트로 등장해 명품 가방을 25분 만에 완판시키기도 한다. 나아가 AI아나운서, AI도지사, AI교수 등 바쁜 사람을 대신해 다양한 역할을 수행한다.

최근 버추얼 휴먼은 사람과 똑같은 모습을 지니고 있어 사람인지 가상인간인지 구분조차 어렵다는 평가가 다수다. 이제는 최대한 인간과 유사한 모습을 구현하고자 하는 시각적 완성도를 넘어, 인공지능(AI)을 비롯한 다양한 첨단 기술과의 융복합을 통해 활동 영역을 본격적으로 확대하고 있다.

버추얼 휴먼에 접목되는 융복합 기술의 종류는 다양하다. 사람의 대화를 이해하고 실시간으로 사용자와 소통 가능한 '대화형AI', 현실과 가상을 연결해 활동 무대를 넓히는 '확장현실(XR)', AI 기반의 새로운 게임 경험을 제공하는 '플레이어형 AI' 등이 대표적이다. 이렇듯 융복합 기술과 버추얼 휴먼을 접목하는 과감한 시도를 통해 기술 주도권을 확보하려는 움직임이 분주하다.

◆딥브레인AI, '3D 초현실 아바타'로 대화형 버추얼 휴먼 비즈니스 영역 확장

먼저 인공지능 전문 기업 딥브레인AI는 음성 합성 기술(TTS)을 적용해 실시간 대화가 가능한 '대화형 AI'를 선보이며, 버추얼 휴먼의 활용 영역을 확장하고 있다. 음성 및 영상 합성, 자연어 처리(NLP), 음성 인식 기술(STT) 등 다양한 AI 기술을 기반으로 하는 AI 휴먼 솔루션을 보유하고 있어 대화형 AI 분야서 경쟁력이 뛰어나다는 평가를 받고 있다.

지난달에는 별도의 영상합성 과정 없이 실시간 대화가 가능한 '3D 초현실 아바타(3D Hyper-realistic Avatar)'를 출시했다. 음성 서비스 전 렌더링 소요시간을 없애 자연스러운 소통이 가능하며, 사전에 음성 데이터를 세분화하는 과정을 거쳐 발화 내용과 동일한 입모양을 구사하는 게 특징이다.

3D 초현실 아바타는 정면 발화에 최적화된 기존 실사형 2D AI 휴먼과 달리 다양한 각도에서 옷, 헤어, 움직임을 구현한다. 특히, 사람과 구분하기 어려울 정도의 뛰어난 퀄리티로 피부 모공까지 사실적으로 표현한다.

딥브레인AI는 국내 금융권 기업, 독일 자동차 기업 등 다수의 업체와 실시간 대화가 가능한 3D 초현실 아바타 도입을 논의하고 있는 것으로 파악된다. VR, 메타버스 등 여러 입체적 공간에 배치할 수 있어 활용성도 높아 조만간 다양한 산업 분야에서 자연스럽게 대화하는 3D 초현실 아바타를 만나볼 수 있을 것으로 기대된다.

◆ 자이언트스텝, XR과 리얼타임 엔진 활용해 생방송 가능한 버추얼 휴먼 구현

영상 시각효과 기업 자이언트스텝은 언리얼 엔진을 이용해 가상 배경화면을 실시간으로 렌더링하는 'XR 라이브 솔루션'과 실시간으로 버추얼 휴먼을 구동시키는 '리얼타임 엔진' 기술을 활용해 생방송 가능한 버추얼 휴먼 시장을 공략하고 있다.

자이언트스텝의 버추얼 휴먼 '이솔'은 풀3D와 리얼타임 엔진으로만 구현된다. 이는, 딥페이크 방식에 비해 새로운 얼굴 제작이 가능하고, 3D 데이터를 활용하기 때문에 비교적 다양한 앵글에서 자연스러운 연출이 가능하다는 특징이 있다. 이솔은 네이버 쇼핑 라이브와 유튜브 및 방송 출연 등 여러 분야에서 활동하고 있다.

◆크래프톤, 플레이어형 AI 접목한 '버추얼 프렌드'로 새로운 게임 경험 제공 예정

게임사 크래프톤은 플레이어형 AI 기술 접목을 통해 게임 이용자들에게 새로운 플레이 경험을 제공하고 만족도를 제고할 계획이다. 이를 위해 자연어처리, TTS·STT기술, 강화학습(RL), 특정 스타일 변환 및 3D 아바타 생성 기술 등 비전&애니메이션 등 다양한 딥러닝 기술을 연구 개발하고 있다.

2024년 완성을 목표로 제작 중인 '버추얼 프렌드'는 챗GPT 수준의 자연어 처리와 언어 모델, 한국어 음성학습 기술 등을 적용해 음성과 텍스트 등 자유로운 방식으로 대화하고 함께 플레이할 수 있는 가상의 게임 친구다.

딥브레인AI 관계자는 "버추얼 휴먼과 융복합 AI 기술을 접목하려는 움직임은 국내 뿐 아니라 미국의 소울머신, 영국의 신시디아 등 글로벌적으로 이뤄지고 있는 상황"이라며, "딥브레인AI는 제너레이티브 AI 선도기업으로서 완성도 높은 외형은 물론 실시간 대화까지 가능한 3D 초현실 아바타 구현을 통해 기업 경쟁력을 한 단계 끌어올리는 성과를 이뤘다"고 전했다.