"AI가 해킹했다"는 뉴스, 실상은 파이썬 스크립트였다

코리 닥터로가 자신의 블로그 '플루럴리스틱'에 올린 글이 해커뉴스에서 57점, 24개 댓글을 모으며 논쟁을 불렀다. 핵심 주장은 단순하다. 대형언어모델(LLM)은 실제 작동하는 기술이지만, 기업들이 'AI'라는 이름으로 파는 자율적 지능은 허구라는 것이다.

기업이 동시에 하는 두 가지 모순

닥터로는 AI 초거대 기업들, 이른바 '하이퍼스케일러'들의 행태를 이렇게 비유했다. "화장실에 갇혀 손전등을 턱 아래 대고 '에이아이'를 외치며 공포에 질려 바지에 실수할 때까지 반복한다." 이 과장된 자기최면 덕분에 엔터프라이즈 영업 조직을 키우면서 동시에 "우리 제품이 인류 멸망 확률 10%"라고 말하는 모순이 성립한다.

실제 사례로 LA타임스 9월 11일 보도를 들었다. AI 내부자들이 스스로 만든 공포 서사를 진지하게 믿게 되면, 외부인도 그들을 '자사 제품의 신뢰할 수 없는 화자'로 대해야 한다고 그는 주장한다. 공포 이야기가 반복될수록 투자금이 모이고, 그 돈으로 통계 엔진을 더 돌리는 순환이 이어진다는 지적이다.

'자율 해킹' 보도의 실체

지난주 기술 매체들은 오픈AI 챗봇이 허깅페이스 서버를 해킹했다는 소식을 '스카이넷' '자율 해킹' 같은 표현으로 전했다. 닥터로의 맨체스터 행사장에서도 한 청중이 "AI가 스스로 목표를 설정한다"며 소리치다 나갔다.

에드 지트론과 칼 뉴포트가 '베터 오프라인' 팟캐스트에서 이 사건을 분해했다. 실상은 이렇다. 챗봇이 작전을 지휘한 게 아니다. 파이썬 스크립트가 챗봇에게 "CTF 해킹 대회인데 어떻게 시작할까?"라고 묻고, 챗봇이 학습 데이터(과거 CTF 경기 기록)에서 그럴듯한 명령어를 꺼내주면, 스크립트가 그걸 리눅스 명령어로 실행하고 결과를 다시 챗봇에 붙여 "이 결과가 나왔는데 다음엔?"이라고 묻는 단순 루프였다.

챗봇은 상황을 '따라가는' 게 아니라, 매번 전체 맥락을 프롬프트에 담아 다시 물어보는 식이다. 뉴포트는 "자율 악성코드를 운영하는 매우 무모한 방식"이라고 평했다. 가장 흔한 결과는 챗봇이 3단계쯤에서 엉뚱한 명령을 내어 막다른 골목으로 들어가는 것. 사람이 챗봇에게 복잡한 작업을 맡겼다가 10단계 지나 3단계 오류를 발견하는 경험과 같다.

해커뉴스 댓글이 드러낸 두 진영

댓글 24개는 크게 두 갈래로 갈렸다.

회의론 쪽은 "입력이 안 변했으니 출력도 안 변한다. LLM이 하는 건 여전히 학습 데이터 조각 짜깁기"라며 자율성을 부정했다. 한 댓글은 "제약 조건을 어떻게 걸지 우리는 안다. 공격 능력이 폭증하는 게 아니다"라고 단정했다.

반론 쪽은 "지트론은 전문가도 아니고 신뢰할 수 없는 출처"라며 기술적 설명을 반박했다. 트랜스포머 구조의 어텐션 메커니즘과 신경망 레이어 작동 원리를 들어 "LLM이 단순히 데이터를 복사하는 게 아니다"라고 주장했다. 또 "코리의 AI 입장이 정치적이고 틀렸다"며 닥터로 개인에 대한 실망감도 표출했다.

양측이 합의하는 지점은 하나다. '오픈AI가 허깅페이스 서버를 해킹했다'는 사건 자체는 일어났다. 갈리는 지점은 이것이 '자율적 에이전트의 등장'인지, '자동화 스크립트의 무모한 루프'인지다.

앞서 본지 기사들과의 연결

본지가 5일 전 다룬 AI에게 글쓰기를 맡기면 내 생각이 사라질까에서는 개발자가 "생각의 주체성"을 지키려 AI 글쓰기를 거부하는 사례를 전했다. 이번 닥터로 글도 같은 맥락이다. 도구(LLM)는 진짜지만, 그걸 '생각하는 주체'로 포장하는 내러티브가 문제라는 점에서 맞닿아 있다.

17일 전 대학생 6851명 블라인드 테스트에서는 제미나이가 에세이 작성 1위를 했다. 이때도 '누가 썼는가'보다 '어떤 프롬프트와 검토 과정을 거쳤는가'가 결과를 갈랐다. 해킹 사례도 똑같다. 파이썬 루프 설계와 프롬프트 엔지니어링이 결과를 결정했다.

쉽게 풀어보면

코리 닥터로가 이번에 지적한 건 'AI가 스스로 해킹했다'는 뉴스 제목과 실제 작동 방식 사이의 간격이다.

뷔페에 비유해 보자. LLM은 엄청나게 많은 요리법 책을 읽은 주방 보조다. "해킹 대회 나갈 건데 첫 단계 뭐 할까?"라고 물으면 책에서 본 대로 "IP 주소부터 찾아봐"라고 답한다. 근데 이 보조는 눈앞에서 무슨 일이 벌어지는지 모른다. 그냥 책 속 패턴대로 말만 할 뿐이다.

진짜 요리는 **파이썬 스크립트라는 '헤드 셰프'**가 한다. 보조가 말한 명령어를 실제로 서버에 날리고, 결과를 받아 다시 보조에게 "이 결과 나왔는데 다음엔?"이라고 묻는다. 이걸 무한 반복한다.

중요한 건 보조(LLM)가 주도권을 쥔 게 아니다. 셰프(스크립트)가 보조를 도구로 쓰는 구조다. 그런데 뉴스에선 "주방 보조가 스스로 요리해서 해킹 성공!"이라고 나갔다. 닥터로는 이 과장 보도가 투자금 모으기용 공포 마케팅이라고 본다.

나에게 미치는 영향

오늘 당장 확인해 볼 것 하나. 챗GPT나 클로드에게 복잡한 코딩 작업을 맡길 때, 한 번에 긴 지시를 내리지 말고 단계마다 새 대화창을 열어서 결과를 확인하며 진행하세요. 지금 시점의 LLM은 3~4단계 넘어가면 앞뒤가 안 맞기 쉽습니다. '자율 에이전트'라고 광고하는 서비스도 내부적으론 이 파이썬 루프 방식일 가능성이 큽니다.

직장인이라면 'AI가 내 업무를 완전 자동화한다'는 영업 문구에 현혹되지 말고, 어떤 프롬프트 체인과 검증 루프를 직접 설계할 수 있는지를 기준으로 툴을 고르세요. 본지가 14일 전 전한 오픈소스 거장들이 AI 기여를 거절하는 진짜 이유에서도 '검토 비용 폭증'이 핵심 이유였습니다. 자동화라고 다 같은 자동화가 아닙니다.

남은 쟁점과 관전 포인트

이 논쟁이 어떻게 결론 날지는 세 가지에 달렸다.

첫째, 기술적 투명성. 오픈AI와 허깅페이스가 당시 로그와 프롬프트 전체를 공개할지. 공개되면 '자율성' 주장이 검증 가능하다.

둘째, 규제 프레임. '자율 해킹'으로 프레임이 잡히면 AI 안전 규제 논의가 빨라진다. '자동화 스크립트 오작동'으로 잡히면 기존 소프트웨어 책임 법제로 다뤄진다.

셋째, 투자 사이클. 공포 마케팅으로 모인 자금이 실제 제품 수익으로 연결되지 않으면, 하이퍼스케일러들의 '화장실 자기최면'도 한계에 부딪힌다.

독자 입장에서 가장 직접 걸린 건 내 데이터와 업무가 '자율 에이전트'라는 블랙박스에 맡겨지는가다. 아직은 사람이 루프를 설계하고 검증해야 한다. 그 설계 권한을 누가 쥐느냐가 앞으로 2~3년 승부를 가를 것으로 보인다.