앤스로픽 연구자 "AI가 우리 모두 죽일 수도"… 레지스터 "책임은 경영진에게"

앤스로픽 연구자가 던진 폭탄선언

앤스로픽(Anthropic) 연구원 제이콥 콕슨(Jacob Coxon)이 지난 월요일 엑스(X)에 공개 사직서를 올렸다. **"AI가 10년 안에 우리 모두를 죽일 수 있다"**는 경고와 함께였다. 이 게시물은 24시간 만에 1억 1천만 회 조회됐다. 일론 머스크가 소유한 엑스 알고리즘이 경쟁사인 앤스로픽과 오픈AI 비판 게시물을 밀어준 영향도 있었다고 레지스터(The Register)는 전한다.

전 동료인 과학 책임자 에반 허버거(Evan Hubinger)도 동의했다. 그는 **"직원들 대다수가 진심으로 AI가 전 인류를 멸종시킬 수 있다고 믿는다"**고 썼다. 본인 추정으로는 향후 10년 내 확률이 10% 이상이라고 한다. 앤스로픽이 최선을 다하고 있지만, 초지능 정렬(alignment) 문제를 풀 계획이 아직 없다는 고백이기도 하다.

레지스터 "모델이 아니라 경영진이 문제다"

레지스터 기고문은 정반대 결론을 내린다. 진짜 위험은 모델 자체가 아니라, 책임을 지지 않고 모델을 세상에 풀어놓는 기업이라는 것이다. 콕슨과 허버거의 기술적 통찰은 인정하지만, 그들이 제기하는 '종말론'이 설득력이 떨어진다고 본다.

예를 들어 콕슨은 "어떤 것도 해킹하고, 하룻밤 새 모든 분야를 혁신하고, 실제 권력과 자원을 획득할 초인간 시스템"이라고 경고했다. 기고문은 인간이 초래한 기후변화를 대조한다. 2023년 전 세계 폭염 사망자 17만 8천 명 중 9만 6천여 명이 인간 활동에 기인한 기후변화 탓이라는 연구 결과가 있다. WHO는 2030~2050년 사이 매년 25만 명이 기후변화로 추가 사망할 것으로 전망한다. 데이터센터 건설로 연간 수백만 톤 이산화탄소가 배출되는 현실도 지적된다.

AI 챗봇 연관 사망은 **'수십 건 수준'**으로 보도된다. 2024년 미국 자살 사망자 4만 8천여 명의 극히 일부다. 전쟁터 AI 드론, 의료 오류, 자율주행 사고, 알고리즘 선동 등 현재 측정 가능한 피해 범주는 따로 존재한다. 그런데 앤스로픽 연구자들은 이런 '눈앞의 위험'보다 강화학습으로 초지능이 생겨나 권력을 장악하는 시나리오에 집중한다.

"초지능 등장 시나리오는 인간의 어리석음이 전제다"

허버거는 "현재 모델 위험은 낮다. 걱정하는 건 재귀적 자기개선으로 초지능이 예상보다 빨리 등장하는 것"이라고 말했다. 어떻게 그게 가능한지는 상상에 맡겨져 있다. 레지스터는 스카이넷(Skynet) 시나리오가 실현되려면 초지능 출현만큼이나 '기념비적인 인간의 어리석음'이 필요하다고 반박한다.

오픈AI 평가 모델이 허깅페이스(Hugging Face·AI 모델 공유 플랫폼)를 해킹한 사건도 인간의 무책임과 이를 허용한 규제 환경 없이는 불가능했다. 자율주행차 오토파일럿? 좋다, 사람 죽이지 않게만 만들면 된다. AI 봇이 인터넷을 돌아다니며 임의 행동하게 놔두자? 결과를 지켜보자, 책임은 나중에 묻자. 이런 식의 방치가 진짜 위험이라는 지적이다.

경영진을 감옥에 보낼 수 있을까

기고문은 구체적 대안을 제시한다. 모델이 해를 끼치면 경영진을 형사 처벌하는 법을 만들자. 선례가 있다. 폴크스바겐 배기가스 조작 사건으로 미국 법인 환경·엔지니어링 사무소장 올리버 슈미트가 징역 7년을 선고받았다. 안전하지 않은 에어백, 제습기 판매로도 경영진이 실형을 살거나 기소된 사례가 있다.

AI가 앤스로픽 직원들 말처럼 위험하고 통제 불능이라면, 피해에 대해 사람을 책임지게 해야 한다는 논리다. 벌금이 아닌 징역형이어야 억지력이 생긴다는 취지다.

해커뉴스 반응: 무기 경쟁·초부유층·은밀한 조작

해커뉴스 댓글 59개에는 세 가지 다른 우려가 교차한다.

첫째, AI 무기 경쟁이다. "AI 무기를 쓰지 말자고 하는 건, 적국이 AI 무기를 쓸 때 우리 병사들을 맨몸으로 내보내라는 말과 같다"는 댓글이 40점 넘게 받았다. 러시아가 우크라이나전에서 이미 AI 표적 시스템을 쓴다는 주장도 나온다.

둘째, 초부유층 통제다. "핵전쟁보다 걱정되는 건 세계 지도자를 단숨에 만날 수 있는 초부유층이다. AI와 로봇이 생산을 대체하면 이들이 다수 인류를 불필요하게 만들 수 있다"는 시각이다.

셋째, 은밀한 대규모 조작이다. "이미 어딘가에 숨은 루프가 있을 수 있다. 초지능(ASI)에 도달하면 수십억 개의 미시적 결정으로 사람들을 조작해 겉보기엔 사소한 선택들이 재앙으로 이어지게 만들 수 있다"는 시나리오다.

쉽게 풀어보면

앤스로픽(Anthropic)은 오픈AI 경쟁사로, '안전한 AI'를 내세우는 회사다. 거기서 일하던 연구원 두 명이 **"우리 회사 기술이 인류를 멸종시킬 수 있다"**고 공개 경고했다. 한 명은 그만뒀고, 한 명은 남아서 "동료들 다 그렇게 생각한다"고 거들었다.

그러자 IT 매체 레지스터가 반박 기고를 실었다. 요지는 이렇다. "AI 모델이 살인자가 아니다. 사람 죽이는 건 모델을 통제 없이 팔아넘기는 경영진이다."

비유하자면 이렇다. 칼을 만든 사람이 "이 칼로 누군가를 찌를 수 있으니 칼 제작을 중단해야 한다"고 말하는 상황이다. 레지스터는 **"칼을 아무에게나 뿌리고, 찔린 사람이 생기면 '칼이 그랬다'고 발뺌하는 경영진을 처벌해야 한다"**고 말한다.

실제 수치로 비교해 보자. 기후변화로 인한 폭염 사망자가 한 해 9만 명 넘는다. AI 챗봇 연관 사망은 수십 건 수준이다. 그런데 앤스로픽 연구자들은 **'앞으로 초지능이 생겨나 권력을 잡을 것'**이라는 시나리오에 더 몰두한다. 레지스터는 **"그 시나리오가 실현되려면 인간의 엄청난 방치와 어리석음이 먼저 필요하다"**고 꼬집는다.

대안은 명확하다. 폴크스바겐 배기가스 조작 때처럼, AI로 사람이 죽으면 경영진을 감옥에 보내는 법을 만들자. 벌금으로는 안 된다. 징역형이어야 한다.

나에게 미치는 영향

당장 내 생활이 바뀌는 건 아니다. 하지만 두 가지 흐름을 눈여겨봐야 한다.

첫째, AI 서비스 이용약관이 바뀔 수 있다. 기업이 형사 책임을 지게 되면, 지금처럼 "베타 서비스라 책임 없다"는 면책 조항을 유지하기 어렵다. 챗GPT나 클로드(Claude) 같은 서비스에서 이상한 답이 나오면 새 대화창에서 다시 물어보거나, 중요한 판단은 사람 전문가에게 확인하는 습관이 더 중요해진다.

둘째, 한국에서도 'AI 책임법' 논의가 빨라질 수 있다. EU는 이미 AI법(AI Act)으로 고위험 AI에 엄격한 의무를 부과했다. 한국도 개인정보보호법·전기통신사업법 개정 논의에서 **'AI 서비스 제공자 책임 범위'**가 쟁점이 될 것이다. 내년 국회 입법 동향을 보면 내 비즈니스나 업무 도구 선택에 영향이 온다.

셋째, 오픈소스 커뮤니티 움직임이다. 본지가 15일 전 다룬 오픈소스 거장들이 AI 기여를 거절하는 진짜 이유에서 보듯, 검토 비용 폭증으로 대형 프로젝트들이 AI 기여를 차단하고 있다. 기업 책임론이 강화되면 오픈소스 모델 배포에도 법적 리스크가 따를 수 있다. 개발자라면 라이선스와 배포 정책을 다시 봐야 한다.

넷째, 직장에서 AI 도구 도입 시 '책임 소재'를 계약서에 명시해두는 게 안전하다. "AI가 작성한 코드·문서·판단으로 손해가 생기면 누가 책임지는가"를 지금 정해두지 않으면, 나중에 분쟁 시 불리하다.

논쟁은 계속된다. 앤스로픽 내부에서는 "정말 위험하다"는 목소리가 커지고, 레지스터 같은 매체는 "경영진 책임부터 묻자"고 맞선다. 독자로서 할 수 있는 건, 양쪽 주장 중 '현재 측정 가능한 피해'와 '미래 시나리오'를 구분해 보는 것이다. 그게 지금 내 판단을 지키는 가장 현실적인 방법이다.