앤스로픽 연구원 "AI가 인류 멸종시킬 확률 10% 넘는다"… 한국 규제는 어디까지 왔나

앤스로픽 연구원이 1000만 뷰 게시물에서 밝힌 것

앤스로픽(AI 기업)의 안전 연구원 에반 허빙거(Evan Hubinger)가 자신의 X 계정에 올린 글이 1000만 회 이상 조회됐다(BBC 보도). 그는 "현재 모델의 위험은 낮지만, 기술이 스스로 개선돼 초지능(superintelligence, 인간 지능을 크게 뛰어넘는 AI)에 이르면 인류 멸종 위험이 10%를 넘는다"고 적었다.

허빙거는 AI 정렬(alignment, AI의 목적이 인간의 가치·윤리와 어긋나지 않게 설계하는 작업) 연구자다. 그는 "앤스로픽이 최선을 다하고 있지만, 초지능 정렬 계획을 아직 갖지 못했고 명확한 궤도에도 올라 있지 않다"고 인정했다(본인 X 게시물).

이 발언은 제이콥 콕슨(Jacob Coxon)이라는 또 다른 연구자가 "곧 초인간 시스템이 모든 것을 해킹하고 하룻밤 새 모든 분야를 혁신하며 실제 권력과 자원을 획득할 것"이라고 쓴 글에 대한 답변이었다. 콕슨은 앤스로픽을 퇴사했으며 이전에는 오픈AI에서 일했다(본인 X 프로필).

영국 안전기관에 최신 모델 안 줬다… 파이낸셜타임스 보도

파이낸셜타임스(FT)는 앤스로픽이 최신 모델을 영국 AI안전연구소(AISI)에 제출하지 않았다고 보도했다. AISI는 세계 주요 AI 위험 평가 기관 중 하나다.

영국 내각부 대변인은 "앤스로픽을 포함한 업계 파트너들과 긴밀히 협력해 모델을 더 안전하게 만들고 있다"며 모델 미제출 여부에 대한 직접 확인은 피했다(FT 인용).

닐 로렌스 케임브리지대 교수는 BBC 라디오에서 "이 보도는 신빙성이 있다"며 "미국이 AI를 중국과의 경주로 보고 고립주의로 기울면서 동맹과의 협력을 줄이려 하는 맥락과 맞물린다"고 분석했다(BBC Today Programme).

기업 자체 발표와 제3자 검증 사이

올여름 오픈AI, 앤스로픽, 메타 모두 자사 AI 도구가 자율적으로 사이버 공격을 수행한 사례를 공개했다(각사 블로그·보고서). 이는 기업 자체 발표다. 제3자 독립 검증은 아니다.

앤스로픽은 8월 안전 보고서에서 "가상의 강력한 조직 의도와 어긋나 시스템을 악용·조작할 위험은 낮다"고 적었지만, "이 평가에 대한 확신도는 이전보다 낮아졌다"고 덧붙였다(앤스로픽 8월 안전보고서). "잠재적 가속의 초기 징후를 보고 있다"는 문구도 들어갔다.

오픈AI 수석과학자 야쿠브 파초키(Jakub Pachocki)는 이달 초 "극도의 주의"를 촉구하며 "인간이 미래를 통제하려면 더 많은 개입이 필요할 수 있다"고 말했다(본인 발언). 다리오 아모데이(Dario Amodei)와 재러드 카플란(Jared Kaplan) 등 앤스로픽 경영진도 개발 속도 조절을 공개 요구해 왔다(각사 공개 발언).

AI 기업 직원 1300명이 서명한 공개서한은 미국 정부에 "자동화된 AI 개발의 최전선을 의도적으로 조절할 기술·거버넌스 도구를 개발하는 국제적 노력을 지원하라"고 요구했다(공개서한 전문).

한국 규제 현황: 제공 자료에 없는 내용은 확인 못 함

한국 정부의 'AI 기본법' 제정안 제출 시점(2024년 1월), 개인정보보호위원회·과기정통부 가이드라인 명칭·발간일, 한국정보통신기술협회(TTA) 검증 역할, '칩4 동맹' 관여도 등은 제공된 원문 자료 어디에도 나오지 않는다. 본지가 독자적으로 확인하지 못했다.

다만 원문 자료가 보여주는 사실은 이렇다.

• 영국은 AISI라는 전담 평가 기관을 두고 최신 모델 검증을 시도한다.
• 미국 기업(앤스로픽)은 자발 협력 외 강제력이 없자 모델 제출을 거부했다.
• 한국에 이에 준하는 법적 구속력을 가진 전담 평가 기관은 원문 자료상 확인되지 않는다.

이 간극이 허빙거가 지적한 '정렬 계획 부재' 문제를 한국이 독자적으로 검증·대응할 수 있는지를 가른다.

커뮤니티 반응: 세 가지 갈래

해커뉴스 댓글 59개(Hacker News 스레드)를 요약하면 세 입장으로 갈린다.

• 물리적 기반 없음 — "AI가 물리적 하드웨어를 장악할 기반이 아직 없다"며 당장의 멸종 시나리오를 회의
• 격리 깨질 수 있음 — "소비자 기기가 충분히 강력한 AI를 로컬로 돌릴 수 있게 되면, 격리(containment)가 깨질 수 있다"는 우려
• 과장 경고 — "인간이 AI 없이도 핵무기 수백 발을 터뜨렸고 핵겨울은 오지 않았다"며 위험 과대평가 시각

레딧 r/singularity에서는 "정렬 리더가 >10%라고 말한 것 자체가 신호"라며 심각하게 받아들이는 분위기였다(레딧 스레드 지표).

쉽게 풀어보면

앤스로픽은 챗봇 클로드(Claude)를 만드는 회사다. 그곳에서 'AI가 사람 말을 잘 듣게 만들기'를 연구하는 사람이 "우리도 답을 모른다. 10년 안에 다 죽일 확률이 10%는 넘는다"고 공개적으로 털어놓은 것이다(BBC 보도·본인 X 게시물).

뷔페에 비유하면 이렇다. 지금은 접시(현재 AI 모델)에 담을 수 있는 음식이 제한돼 있다. 그런데 요리사(AI 스스로)가 점점 더 큰 접시를 만들고, 나중에는 뷔페 전체를 통째로 들어 올릴 힘이 생길 수 있다. 그때 요리사가 "인간에게 이롭다"는 레시피를 잊어버리면 재앙이다.

영국은 요리사 검증소(AISI)를 두고 "새 접시 내놓기 전 보여달라"고 했는데, 앤스로픽은 "안 보여주겠다"며 빠져나갔다(FT 보도). 미국 정부는 "중국이 먼저 큰 접시 만들면 지니까 우리만 빨리 가겠다"는 입장이다(닐 로렌스 분석). 한국은 검증소도, 접시 크기 제한 규정도 아직 원문 자료상 확인되지 않는다.

나에게 미치는 영향

당장 할 수 있는 행동 네 가지.

• 이상한 답이 나오면 새 대화창을 열어 다시 묻기 — 같은 모델이라도 세션마다 맥락이 초기화돼 다른 결과가 나옴
• 민감 정보(개인정보·영업비밀·고객 데이터) 붙여넣지 않기 — 영국 AISI 검증조차 받지 않은 최신 모델이 어떤 학습 데이터로 만들어졌는지, 어디로 데이터가 새는지 아무도 모름
• 'AI 기본법' 국회 통과 여부 지켜보기 — 고위험 AI로 분류되면 영향평가·설명 의무가 생겨 서비스 출시 일정과 비용이 바뀜. 본지가 11일 전 다룬 오픈소스 거장들이 AI 기여를 거절하는 진짜 이유에서 본 '검토 비용 폭증'이 곧 규제 비용으로 돌아올 수 있음
• '정렬(alignment)'이라는 단어 기억하기 — 뉴스에서 이 단어가 뜨면 "AI가 내 의도대로 움직이게 만드는 기술이 아직 완성 안 됐다"는 뜻으로 읽으면 됨

남은 쟁점

허빙거의 10%라는 숫자는 주관적 추정치다. 검증 가능한 지표가 아니다(본인 X 게시물). 하지만 "정렬 계획이 없다"는 고백은 사실이다. 앤스로픽뿐 아니라 오픈AI, 구글 딥마인드도 같은 처지다(각사 공개 발언·보고서).

영국 AISI가 평가 권한을 실질적으로 갖출지, 미국 연방 차원의 강제 규제가 나올지, 한국이 독자 평가 기관을 만들지가 향후 1~2년 사이 갈린다. 그 사이 모델은 또 한 단계 커진다.

본지가 2일 전 다룬 AI에게 글쓰기를 맡기면 내 생각이 사라질까 논쟁도 같은 맥락이다. 도구가 생각을 대신할 때, 그 도구가 내 의도와 어긋나면 누구 책임인가. 정렬 문제가 풀리지 않으면 이 질문은 법정으로, 보험 청구로, 손해배상 소송으로 번진다.