울산과학기술원(UNIST) 연구진이 여러 AI가 팀을 이뤄 작동하는 시스템에서 일부가 이탈하더라도 나머지가 스스로 역할을 재편해 임무를 이어갈 수 있도록 하는 새로운 학습 기술을 개발했다.

UNIST 인공지능대학원 한승열 교수팀은 멀티에이전트 강화 학습 기술인 'IBAL'을 개발했다고 24일 밝혔다. 멀티에이전트 강화 학습은 여러 AI가 동시에 환경과 상호 작용하며 협력 전략을 배우는 기술로, 자율 드론 군집 비행이나 공장 내 로봇 간 협업 등에 쓰인다.

IBAL의 핵심은 학습 과정에서 AI 간 협력 고리를 의도적으로 끊어보는 데 있다. AI를 두 그룹으로 나눈 뒤 어떤 정보와 행동이 그룹 간 협력에 핵심적 인지를 상호 정보량으로 분석하고, 중요한 정보를 가리거나 협력을 깨뜨리는 행동을 유도하는 방식이다.

학습 단계마다 그룹 구성을 무작위로 바꾸고 공격 강도를 자동으로 조절해 다양한 형태의 협력 붕괴 상황을 경험하게 한다. 축구로 비유하면 한 선수가 빠졌을 때 기존 전술을 고수하는 대신 남은 선수들이 빈 공간을 메우고 역할을 재분배하도록 훈련하는 셈이다.

제1저자인 이선우 연구원은 "기존 방식은 센서 정보에 잡음을 넣거나 개별 AI가 불리한 행동을 하도록 유도하는 수준이었다면, IBAL은 AI들의 협력 관계 자체를 흔드는 접근"이라고 설명했다.

연구팀은 전략 게임 '스타크래프트 II' 기반 실험 환경(SMAC)에서 아군 유닛 일부가 갑자기 작동을 멈추는 상황을 가정해 성능을 검증했다. 기존 AI 모델들은 팀원 결손 시 협력 체계가 연쇄적으로 무너졌다,. 반면 IBAL로 학습한 모델은 체력이 떨어진 유닛을 후방으로 빼고 건강한 유닛을 전면에 배치하는 등 진형을 즉각 재구축했다.

한승열 교수는 "자율 드론이나 군집 로봇, 스마트 팩토리처럼 다수의 AI가 함께 작동하는 시스템은 일부 장비의 고장이나 통신 두절이 전체 임무 실패로 이어질 수 있다"며 "IBAL은 이런 돌발 상황에 대한 시스템의 안전성과 신뢰성을 높이는 기반 기술이 될 것"이라고 말했다.

이번 연구는 세계 3대 인공지능 학회인 국제머신러닝학회(ICML) 2026에 채택됐다. ICML은 NeurIPS, ICLR과 함께 머신러닝 분야에서 가장 권위 있는 학회로 꼽히며 1980년 첫 개최 이후 주로 북미와 유럽에서 열려 왔다. 연구 수행은 과학기술정보통신부와 정보통신기획평가원(IITP), 한국연구재단(NRF)의 지원으로 이뤄졌다.