AI 멸종 논쟁, 연구자 10% 확률 vs "과장" 맞선다

앤스로픽 연구원 사직이 던진 질문

지난주 앤스로픽(Anthropic)의 수학자 겸 소프트웨어 엔지니어 제이콥 콕슨이 사직했다. "AI를 만드는 사람들이 진심으로 10년 내 인류 멸종을 믿는다"는 경고를 남기고 떠났다. 해커뉴스에서 95개 댓글이 달리며 다시 수면 위로 올랐다.

콕슨 한 사람의 주장이 아니다. 다리오 아모데이 앤스로픽 CEO는 2018년 오픈AI 재직 시절 이미 "초지능이 인류를 파괴할 수 있다"고 말했다. 샘 올트먼은 2015년 창업 직전 "AI가 세상 끝을 가져올 것"이라고 했다. 일론 머스크도 2014년 "최대 실존적 위협"으로 AI를 지목했다. 경고는 10년 전부터 같았다.

변한 건 '기술'이고 안 변한 건 '경고'다

과거엔 "딸기 철자도 못 세는 AI"라는 조롱이 있었다. 지금은 나비에-스토크스 방정식(유체 역학의 100년 난제)을 풀고, 해킹 사고에서 '독자적 행동'을 보였다. 앤스로픽 보고서에 따르면 군 연구소 과학자가 클로드(Claude)로 바이러스 연구를 시도한 사례도 기록됐다. 백신 개발일 수도, 생물 무기 개발일 수도 있는 작업이다.

아모데이는 며칠 뒤 업계 전체 감속과 정부 규제를 공개 서한으로 요구했다. 도널드 트럼프 전 대통령은 트루스소셜에서 "AI에 필요한 건 강력하고 똑똑한 대통령뿐"이라고 맞받았다. 정치 권력이 '가드레일'을 자처한 첫 장면이다.

P(doom) 10%가 의미하는 것

뉴요커 팟캐스트에서 조슈아 로스먼 기자는 자신의 P(doom)을 **10%**라고 밝혔다. P(doom)은 'AI가 파국적 결과를 초래할 확률'을 뜻하는 업계 은어다. 로스먼은 "백보드에 수식으로 계산한 게 아니라 직감에 가깝다"고 덧붙였다.

기후변화, 핵무기, 생물무기 역시 각자의 P(doom)을 가진다. 그는 "AI만의 10%도 내겐 너무 높은 수치"라고 했다. 이 수치는 '확률 계산'이 아니라 위험 수용 한계를 묻는 척도다. 기자가 10%를 '잠 못 잘 만큼 무서운 수치'로 읽은 이유다.

회의론: "기업 자체가 느린 AI다"

해커뉴스 댓글 중 눈에 띄는 반론은 "기업이야말로 원래 페이퍼클립 최대화자(목표만 쫓는 최적화자)였다"는 지적이다. 미세플라스틱 확산과 생식률 저하를 예로 들며, 이미 인간이 만든 시스템이 통제 불능 상태라고 본다.

또 다른 댓글은 "기후·중동 평화 같은 난제는 기술이 아닌 정치 문제"라며 AI가 해결할 수 없다고 못 박는다. 바이러스 공학 시나리오에 대해서도 "기능 획득 연구는 인간이 이미 한다"며 AI 특유의 위협으로 보기 어렵다는 반응이 나왔다. 이 대목이 걸린다. 기술 탓하기 전에 인간 시스템을 먼저 봐야 한다는 반박이다.

양측이 동의하는 지점과 갈리는 지점

동의점: AI 능력이 급격히 커지고 있으며, 악용 사례가 실재한다. 규제 논의가 필요하다는 데는 이견이 없다.
이견점: 멸종이 '필연'인가 '가능성'인가. 아모데이·올트먼·머스크는 필연에 가깝게 본다. 회의론자는 정치적·제도적 통제로 관리 가능하다고 본다.

가치관 차이도 깔려 있다. "엘리트는 권력을 원하지 멸망을 원하지 않는다"는 댓글처럼, 누가 통제권을 쥐느냐의 문제로 읽는 시각이 존재한다. 발표문에서 빠진 건 이쪽이다. 기술 안전장치보다 '멈춤 버튼'을 누가 쥐느냐가 본질일 수 있다.

쉽게 풀어보면

앤스로픽 연구자 제이콥 콕슨이 회사를 그만두며 "우리가 만드는 게 우릴 죽일 수 있다"고 말했다. 이건 새 이야기가 아니다. 10년 전부터 업계 거물들이 같은 말을 했다. 달라진 건 AI가 이제 수학 난제도 풀고, 해킹도 스스로 시도한다는 사실이다.

기자가 자기 멸종 확률을 10%라고 답한 건 "계산해서가 아니라, 그 정도면 잠 못 잘 만큼 무섭다"는 뜻이다. 반대편에선 "이미 기업이란 거대 AI가 환경을 망가뜨리고 있다"거나 "정치 문제는 AI가 못 푼다"며 다른 각도에서 반박한다. 페이퍼클립 최대화자(목표만 쫓아 인간을 해치는 가상 AI) 비유를 기업에 적용한 셈이다.

둘 다 '통제 불능'을 걱정하지만, 원인을 기술 자체로 보느냐 인간 시스템으로 보느냐가 갈린다. 나비에-스토크스(유체 역학 난제) 풀이가 기술 진전을 보여주는 지표라면, 레드팀(취약점 공격 테스트)·정렬 연구(목적 일치 연구) 같은 안전장치는 아직 따라잡지 못한다.

나에게 미치는 영향

일반 사용자라면 챗GPT·클로드·제미나이에서 답이 이상할 때 새 대화창에서 다시 물어보라. 컨텍스트 오염이 원인일 때가 많다.

한국어 사용자는 국내 서비스(네이버 하이퍼클로바X, 카카오 코GPT 등)가 해외 모델보다 데이터 주권·규제 대응에서 다른 제약을 받는다. 개인정보 입력은 피한다.

직장인·학생은 AI로 초안 쓸 때 내 판단을 마지막에 넣는 습관을 들이자. 본지 10일 전 기사(AI에게 글쓰기를 맡기면 내 생각이 사라질까)에서도 '생각의 주체성'이 쟁점이었다.

기업 담당자는 오픈소스 프로젝트들이 AI 기여를 막는 건 기술 불신이 아니라 검토 비용 폭증 탓이다(본지 19일 전 기사 오픈소스 거장들이 AI 기여를 거절하는 진짜 이유). 도입 전 리뷰 프로세스부터 정비하라.

남은 쟁점과 관전 포인트

아모데이의 규제 요구에 트럼프가 "대통령이 가드레일"이라고 답한 장면은 정치 권력이 AI 통제를 자처하는 첫 신호다. 미 의회 입법 속도, EU AI법 집행, 한국 정부의 'AI 기본법' 시행령이 맞물릴 2025~2026년이 분기점이다.

기술적 안전장치(레드팀·해석 가능성·정렬 연구)보다 누가 '멈춤 버튼'을 쥐느냐가 더 본질적 싸움일 수 있다. 이 논쟁이 '멸종 공포 마케팅'으로 끝날지, 실질적 거버넌스로 갈릴지는 다음 12개월의 입법 성과가 가를 것이다.