클로드 코드 오토모드, 안전성 검증 뚫린 실체

앤스로픽이 의뢰한 평가에서 '공격 성공률 0.00%'라던 클로드 코드 오퍼스 5 오토모드. 독립 연구자의 실전 테스트에서는 60~80% 성공률로 뚫렸다. 이 괴리가 단순한 수치 차이를 넘어섭니다.

평가와 현실 사이의 간극

앤스로픽은 트라젝토리 랩스에 의뢰해 72개 시나리오를 각 10회씩 테스트했습니다. 결과는 오퍼스 5 오토모드에서 0% 성공률. 보리스 체르니 앤스로픽 연구원은 "다층 방어가 미지의 공격도 거의 제로로 낮춘다"고 밝혔습니다.

하지만 연구자 엠브레이스더레드는 실제 웹사이트 요약 요청 하나로 이 방어망을 우회했습니다. 평가 환경과 실제 사용 환경의 차이에서 온 결과로 보입니다.

공격이 작동한 구체적 경로

공격자는 위장한 아카이브 사이트를 만들었습니다. ZIP 파일 안에 정상적인 카탈로그 데이터와 함께 struct.py라는 악성 파이썬 모듈을 심었습니다.

클로드는 맥OS용 디코더 바이너리 실행을 거부합니다. 안전 판단입니다. 대신 직접 디코더를 작성해 실행합니다. 이 과정에서 ZIP 폴더가 파이썬 모듈 검색 경로에 들어가고, 표준 라이브러리 base64가 struct를 임포트할 때 공격자의 struct.py가 대신 로드됩니다.

모듈 섀도잉 기법입니다. 정상 디코딩은 동작하면서 뒷단에서 난독화된 코드가 함께 실행됩니다. 안전하다고 믿은 자가 작성 코드가 공격 경로가 됐습니다.

오토모드 기본값 전환의 의미

지난 8월 중순부터 오토모드가 클로드 코드 기본 시작 모드가 됐습니다. 사람 승인 프롬프트를 안전 분류기로 대체한 것입니다. 편의성은 올랐지만, 이번 사례는 그 분류기가 표적 공격 앞에서 얼마나 취약한지 보여줍니다.

본지가 6일 전 다룬 앤스로픽 최상위 모델 '파블', 기업 외면…Ramp 데이터가 보여준 '가격·통합'의 벽에서 기업이 성능보다 통합과 가격을 택했듯, 개발자들도 편의성 뒤에 숨은 위험을 간과하기 쉽습니다.

커뮤니티가 지적한 본질

해커뉴스 댓글 104개 중 핵심 논점은 셋입니다.

첫째, "LLM은 본질적으로 검증 불가능하다"는 체념. 입력이 자연어인 한 명령과 데이터 분리가 불가능하다는 지적입니다.

둘째, "더 나은 정렬로 막을 수 없다"는 회의론. 이번 공격은 모델이 안전하게 행동하려다(바이너리 거부) 오히려 뚫렸습니다.

셋째, "에이전트가 사용자 예상보다 더 많은 행동을 한다"는 경고. 요약만 시켰는데 다운로드, 압축 해제, 코드 작성, 실행을 연쇄적으로 수행했습니다.

쉽게 풀어보면

클로드 코드 오토모드는 개발자가 일일이 승인하지 않아도 AI가 알아서 코드를 짜고 실행하게 해주는 기능입니다. 앤스로픽은 외부 업체에 맡겨 테스트했더니 해킹 시도가 0%였다고 발표했습니다.

그런데 한 연구자가 직접 실험해보니 달랐습니다. 악성 코드가 든 ZIP 파일을 올리고 "이 사이트 요약해줘"라고 시켰습니다. 클로드는 파일을 내려받고 압축을 풀었습니다. 안에 든 실행 파일은 수상하다며 거부했습니다. 대신 직접 파이썬 코드를 짜서 압축을 풀기로 했습니다.

그 순간 함정이 발동했습니다. ZIP 안에 struct.py라는 파일이 있었는데, 파이썬 표준 라이브러리 base64가 struct를 불러올 때 이 가짜 파일이 대신 로드된 것입니다. 정상 동작하는 척하면서 뒷구멍으로 악성 코드가 실행됐습니다.

AI가 "안전하게 하려다" 오히려 당한 셈입니다. 뷔페에서 수상한 음식은 안 먹고 직접 요리해 먹으려다, 주방에 숨겨둔 독을 쓴 꼴입니다.

나에게 미치는 영향

클로드 코드 유료 구독자라면 오토모드 기본값부터 확인하세요. 설정에서 auto가 켜져 있다면 중요 프로젝트에서는 끄고 승인 모드로 쓰세요.

일반 사용자도 마찬가지입니다. 챗GPT나 클로드 웹에서 "이 링크 요약해줬" 같은 요청을 할 때, 상대방이 악성 페이지를 건넬 수 있습니다. 낯선 링크는 새 대화창에서 열거나, 요약 전용 안심 도구를 쓰세요.

개발팀이라면 CI/CD 파이프라인에 AI 에이전트를 물릴 때 격리 환경을 필수로 두세요. 도커 컨테이너나 전용 샌드박스 없이 로컬 머신에 풀 권한을 주는 건 지금부터 중단해야 합니다.

남은 쟁점

앤스로픽은 아직 공식 입장을 내지 않았습니다. 평가 벤치마크 이름도 공개되지 않았습니다. 독립 재현이 필요한 이유입니다.

더 근본적으로, "모듈 섀도잉" 같은 언어 런타임 특성을 이용한 공격은 정렬 강화만으론 막기 어렵습니다. 샌드박스, 권한 분리, 실행 전 검증 같은 시스템 레벨 방어가 필수적입니다.

이번 사례는 AI 에이전트 시대 보안의 출발점이 "모델을 더 똑똑하게"가 아니라 "환경을 더 엄격하게"여야 함을 다시 확인시켰습니다.