미군 AI 환각으로 중국 선박 나포·승선 시도 직전까지 갔다

무슨 일이 있었나

올봄 미 특수작전사령부 분석관이 챗봇에 공공 정보와 기밀 신호 정보를 합쳐 달라고 물었다. 챗봇은 중국 선박 화물 명세서를 핵무기 프로그램 부품으로 잘못 읽었다. 분석관은 같은 도구로 다시 돌려 공식 보고서 모양으로 포장해 지휘 체계에 돌렸다.

미 군용기가 공중 지원 대기 상태였다. CNN 취재에 따르면 네 소식통이 "전면전 직전이었다"고 증언했다. 작전은 마지막 순간 취소됐지만 인간 개입 원칙이 작동하지 않은 채 허위 정보가 의사결정망 꼭대기까지 올라간 사실이 확인됐다.

왜 문제인가

펜타곤은 1월 'AI 가속 전략'을 내걸고 모든 임무 체계에 생성형 AI를 깔겠다고 밝혔다. 6월 청문회에선 현역 150만 명이 이미 군용 생성형 AI를 쓰고 있다고 자랑했다. 구글 제미나이, xAI 그록, 앤스로픽 클로드 전용 버전이 'GenAI.mil' 플랫폼에 올라 있다.

속도만 앞세우다 보니 검증 단계가 생략된 게 아니라, 없었다. 분석관은 챗봇 출력물을 두 번만 돌리고 사람 눈으로는 다시 보지 않았다. 2023년 국무부 선언이 요구한 '책임 있는 인간 연쇄 지휘'가 현장에서 무시된 셈이다.

제이크 스텍러 GovAI 연구원은 "타격·정보·작전 계획처럼 무력 사용으로 이어질 판단엔 불확실성을 반드시 인지해야 한다"고 지적했다. 그는 금지가 아니라 세이프가드 강화를 주문했다.

빠진 조건과 남은 쟁점

자료에서 확인된 핵심 공백은 넷이다.

• 검증 의무화 부재: '인간 최종 판단' 원칙만 있고 구체적 검증 절차·감사로그 보관·위반 제재가 없다.
• 공유 정보 책임 소재 불분명: 미군이 'GenAI.mil'로 만든 정보를 동맹국이 그대로 받으면 검증 책임이 누구에게 있나.
• 앤스로픽 블랙리스트 파장: 펜타곤이 자율무기 반대 이유로 블랙리스트에 올렸는데 연방법원이 "표현 자유 침해"라며 위법 판결했다. 국방 조달 계약에 'AI 윤리 입장' 조항을 넣을 수 있나.
• 환각 원천 차단 난제: "모르면 모른다고 해라" 프롬프트조차 연구자들은 근본 해결이 불가능하다고 본다.

한국 군 당국의 공식 입장이나 관련 규정 개정 여부는 본지가 확인하지 못했습니다.

쉽게 풀어보면

미 특수작전사령부 분석관이 챗봇에게 중국 배 화물 정보를 물어봤다. 챗봇이 "핵무기 부품이다"라고 틀린 답을 내놨다. 분석관은 그걸 공식 보고서로 꾸며 윗선에 올렸다. 군용기가 공중에서 대기하다 누군가 "이거 가짜다" 해서 겨우 멈췄다.

뷔페에서 접시 크기만 보고 음식을 담는 격이다. 검증이라는 접시가 없는데도 그대로 식탁(의사결정망)에 올렸다. 사람 요리사(검증관)가 없었단 얘기다.

이 사건은 '빠른 답'만 믿고 '옳은 답'을 확인하지 않았을 때 벌어지는 전형이다. 챗봇은 모르는 걸 꾸며내는 습성이 있다. 2023년 케임브리지 사전 '올해의 단어'가 '환각'이었다. 이 기술 본질이다.

나에게 미치는 영향

직장인이라면 오늘 쓰는 생성형 AI 결과물을 '최종본'으로 쓰지 마라. 챗GPT·클로드·제미나이 답변을 보고서·메일·기획안에 그대로 붙이면 미 분석관과 같은 꼴이 된다. 출처 링크 하나라도 직접 눌러보라.

학생이라면 과제 제출 전 '이게 정말 맞나' 한 번 더 검색해 보라. 틀린 답을 진짜처럼 말하는 게 이 기술 본질이다.

자영업자라면 고객 응대 챗봇에 '모르면 모른다고 답하라' 한 줄만 달아도 사고 확률이 준다. 소송비를 아끼는 가장 싼 보험이다.