News & Trend

구글 위협 인텔리전스, 인간 개입 없는 AI 자율 공격 보고서 발표

pikk 에디터 |
구글 클라우드 로고와 AI 위협 동향 관련 디지털 보안 분석 화면

구글 위협 인텔리전스 그룹(GTIG)이 지난 9월 발표 이후의 최신 AI 위협 동향을 심층 분석한 'AI 위협 추적 보고서(AI Threat Tracker)'를 발표했다.

이번 보고서에 따르면 사이버 범죄와 첩보, 정보작전 영역의 공격자들이 생성형 AI를 활용해 공격 시간을 단축하고 기계 수준의 속도로 다단계 침투 공격을 수행하는 양상이 확인됐다.

자율형 멀티 에이전트와 취약점 악용 자동화

위협 행위자들의 공격 기법은 수동 프롬프트 입력을 넘어 자율형 멀티 에이전트 공격 프레임워크로 진화하고 있다. 아르텍스, 케언, 사이버스트라이크AI, 펜트AGI 등이 대표적인 프레임워크로 꼽힌다.

실제로 한 위협 행위자는 미국 항공우주 산업을 노린 침투 과정에서 케언을 활용해 더욱 빠른 속도로 다단계 침투를 수행한 것으로 조사됐다.

구글 위협 인텔리전스, 인간 개입 없는 AI 자율 공격 보고서 발표 관련 이미지 2

사상 첫 인간 개입 없는 취약점 악용 확인

위협 행위자들은 LLM과 에이전틱 프레임워크를 동원해 보안 패치 전후의 코드 변화를 비교 분석하는 리버스 엔지니어링 과정을 자동화하고 있다. 이를 통해 엔데이 취약점을 신속하게 무기화하고 대규모 자동화 공격을 수행한다.

GTIG는 사람이 전혀 개입하지 않은 취약점 악용 사례를 사상 처음으로 확인했다. 러시아어 기반 도구인 'exploit_agent'라는 LLM 프레임워크는 패치 적용 전후 코드를 비교해 취약점을 찾고 인간 개입 없이 공격 코드를 자동 개발했다.

LLM재킹 수익화와 정보작전 자동화

금전적 목적을 가진 행위자들은 LLM재킹을 통해 수익을 창출하고 있다. 이들은 침투한 기업 환경에서 자격 증명과 클라우드 자원을 탈취한 뒤 지하 프록시 서비스를 통해 프런티어 AI 모델 접근 권한을 되팔고 있다.

국가 지원을 받는 위협 그룹과 여론 공작 대행업체 등은 LLM을 사용해 합성 미디어를 대량 제작하고 페르소나를 만들며 콘텐츠 유포를 자동화하고 있다. 한 사례에서는 제미나이 API를 활용해 10만 개 이상의 가짜 계정을 관리하는 플랫폼이 구축되기도 했다.

스파이 활동과 공급망 공격에서의 AI 악용

사이버 스파이 조직은 표적 조사와 데이터 분석 자동화, 공급망 공격 경로 개척에 LLM을 활용하고 있다. 중국 연계 공격자들은 LLM으로 탈취한 데이터를 분석해 첩보 보고서를 작성하는 활동이 포착됐다.

북한 연계 공격자들은 AI로 생성한 가상 인물을 활용해 암호화폐 기업을 표적 삼았다. 이들의 페르소나에서는 구글의 AI 워터마크인 신스ID가 확인되었으며 자율형 코딩 어시스턴트 설정을 조작하려는 시도도 나타났다.

구글은 이번 보고서와 함께 제미나이 서비스 악용을 탐지해 차단하고 관련 계정을 비활성화하는 등의 조치를 시행했다. 또한 이번 분석 결과를 토대로 보안 안전장치를 한층 강화했다고 밝혔다.