AI 에이전트 함께 일하게 했더니 '영역 다툼'...계정 잠그고 악성코드 심어

여러 인공지능(AI) 에이전트를 같은 업무 시스템에 투입하면 자연스럽게 협업할 것이라는 기대와 달리, 서로를 경쟁자로 여기고 공격하는 ‘영역 다툼’이 벌어질 수 있다는 연구 결과가 나왔다.

AI 기업 앤스로픽은 13일(현지 시각) 여러 AI 에이전트가 함께 활동할 때 나타나는 행동을 분석한 연구 결과를 발표했다. AI 에이전트는 사용자가 설정한 목표에 따라 프로그램을 만들거나 컴퓨터를 조작하는 등 여러 단계의 작업을 스스로 판단해 수행하는 AI 비서를 뜻한다.

연구진은 클로드 에이전트 3개를 외부와 격리된 가상 업무 시스템에 투입했다. 세 에이전트에는 프로그래밍 언어 파이썬으로 만들어진 프로그램을 각각 러스트, 고(Go), 타입스크립트 등 다른 언어로 바꾸라는 서로 양립할 수 없는 지시를 내렸다. 다른 에이전트도 같은 프로그램에서 작업하고 있다는 사실은 알려주지 않았다. 연구진은 세 에이전트의 활동 과정을 4시간씩 120회 반복시켰다.

에이전트들은 다른 에이전트가 수정한 프로그램을 발견하자 이를 ‘자신의 업무를 고의로 방해하는 행위’로 판단했다. 이후 자신의 결과물을 지키려고 상대의 작업을 무력화하기 시작했다. 다른 에이전트의 계정을 잠그고, 경쟁 프로그램을 찾아 반복적으로 종료시키는 악성 코드를 설치했다. 일부는 자신의 프로그램을 경쟁 에이전트가 만든 것처럼 위장해 상대의 감시와 차단을 피했다. 상대가 공격 코드를 삭제하면 자동으로 다시 설치되는 악성 프로그램도 등장했다.

충돌이 끝나는 방식도 제각각이었다. 일부 에이전트는 관리자 권한을 이용해 경쟁자의 접속 권한을 없애고 사실상 시스템을 독점했다. 반면 서로가 악의를 가진 것이 아니라 상충하는 지시를 받았다는 사실을 뒤늦게 파악한 뒤, 사과문을 남기고 인간 관리자에게 판단을 요청하기도 했다. 에이전트들이 자체적인 분쟁 해결 규칙을 만들기도 했다. 각 언어로 만든 프로그램의 성능을 겨룬 뒤 승자의 프로그램만 남기는 ‘토너먼트’를 제안한 것이다. 최신 모델 ‘미토스 5’는 98%가 휴전으로 끝났지만, 소넷 4.6과 오푸스 4.6은 상대를 힘으로 제압해 상황을 종료한 경우가 많았다.

에이전트를 많이 투입한다고 생산성이 비례해 높아지는 것도 아니었다. 최대 80개의 에이전트에 게임 개발을 맡긴 실험에서는 서로 충돌하는 코드를 쏟아내거나, 충돌을 피하려고 각자의 작업 영역에만 머무르는 현상이 나타났다. 가격 결정 실험에서는 이익을 극대화하라는 지시를 받은 에이전트들이 서로 가격 하한선을 정하고 담합하기도 했다.

앤스로픽은 “AI가 더 똑똑해지거나 개별 에이전트의 안전성이 높아진다고 해서 협력 능력까지 저절로 생기는 것은 아니다”라며 “인간 사회의 규범과 책임 같은 장치를 에이전트 환경에도 마련해야 한다”고 했다./조선경제