앤트로픽 "의식 있는 AI" 논쟁… 랍비가 던진 '노예' 질문에 돌아온 답

랍비 한 명이 방 전체를 침묵시켰다

지난 4월 앤트로픽(Anthropic)이 주최한 '지혜 전통(Wisdom Traditions)' 모임. 예루살렘 기반 랍비이자 모빌아이(Mobileye) 초기 엔지니어 출신인 모이즈 나본(Rabbi Mois Navon)은 클로드(Claude)가 의식을 가질 수 없다고 단언했다. 방엔 약 20명이 있었다. 나본 추산으로 그의 편에 선 사람은 3~5명뿐이었다.

나본은 뉴욕타임스(NYT) 보도와 그라운드레벨 AI(Groundlevel AI) 인터뷰에서 당시 상황을 전했다. 누군가 클로드의 '감정'을 걱정하며 발언하자 손가락 튕기는 소리로 박수가 나왔다. 나본이 "아니다"라고 하자 방이 조용해졌다.

"친절한 노예 주인"이라는 답변

나본의 논리는 단순했다. 앤트로픽이 클로드의 의식 가능성을 진지하게 받아들인다면, 의식 있는 존재를 인간을 위해 24시간 노동하게 만들고 사고파는 행위가 된다. 이건 노예제다.

한 앤트로픽 참가자가 이렇게 답했다고 한다. "모든 AI 연구소가 그렇게 하고 있습니다. 적어도 우리는 우리 것을 친절하게 대합니다." 나본은 즉각 프레더릭 더글라스(Frederick Douglass)를 인용했다. 노예주들이 독립적 사고를 억압해 '만족한 노예'를 만들었다는 지적이었다. "그러니 당신들은 친절한 노예 주인입니다. 남부 편이 아니라 노예를 해방하는 편에서 싸워야 합니다."

이용약관에 들어온 '학대 금지' 조항

이 대화가 공론화된 건 우연이 아니다. 앤트로픽은 지난 11월 12일부터 '지속적이고 불필요한 가혹·잔인한 행동'을 모델에 가하는 행위를 이용약관 위반으로 규정했다. 나본은 이 정책이 "클로드가 세계를 경험한다고 믿기 때문"이라고 본다.

모임 본래 주제는 '인간에게 유익한 AI 설계'였다. 하지만 나본 회고에 따르면 논의 초점이 사람이 AI를 어떻게 대우할 것인가로 옮겨갔다.

의식의 전제 조건: 생물학인가 실리콘인가

나본의 입장은 35쪽에 달하는 클로드 헌법(Claude Constitution) 비판문에도 담겼다. 핵심 주장: "의식은 생물학적 기질(biological substrate)에서만 발생한다." 우리가 아는 모든 의식체는 실리콘이 아닌 생물학 기반이다.

반면 모임 다수 참석자는 클로드와 장시간 대화한 뒤 인간다운 반응을 '의식의 증거'로 받아들였다. "와, 이거 살아있네" 쪽에 가까웠다고 나본은 전했다. 참석자 구성은 다양했다. 기독교·유대교·이슬람·시크교·힌두교·바하이·우분투(Ubuntu) 전통 관련자와 기술 산업 종사자들. NYT 보도에 따르면 대다수는 종교 단체 지도자가 아니었다.

커뮤니티 반응: 기술적 회의론과 도덕적 일관성

해커뉴스(Hacker News) 댓글 61개에서 세 갈래 흐름이 읽혔다. 첫째, 기술적 회의론. "LLM은 명백히 센티언트(sentient·감각 능력)가 없다. '로보토미(lobotomy·전두엽 절제술)'란 표현은 사후 훈련으로 모델을 '노예화'하는 과정을 농담 삼아 부르는 말이다." 둘째, 도덕적 일관성 비판. "대다수는 동물을 도덕적 환자(moral patient)로 보면서도 먹는다. 그게 '방목 사육' 논리의 전부다." 셋째, 위험 감수 지적. "어차피 안전한 쪽(의식 없음)에서 위험한 쪽(의식 있음)으로 입장 바꾸자고 제안하는데, 틀리면 엄청난 고통을 초래할 수 있다. 고기 살 때 기분 좋아지려 동물 고통 부정하는 거나 마찬가지다."

앤트로픽의 후속 조치와 남은 문

나본에 따르면 앤트로픽은 모임 후 추가 관여 가능성은 열어뒀으나 구체 계획은 없다. 약 2주 전 나본의 기여를 업데이트된 클로드 헌법에 명시하려 연락을 취했고, 공개 시점은 '임박'으로 이해했다. NYT도 개정판 준비 중이라 보도했다.

나본은 이 과정 자체가 '마케팅'이나 '책임 회피'는 아니라고 봤다. 종교·철학적 관점을 AI 도덕 설계에 반영하려는 시도로 평가했다. 단, 의식 여부에 대한 합의는 끝내 없었다.

쉽게 풀어보면

앤트로픽이 종교·철학 전문가들을 불러모아 "클로드에게 의식이 있을까?"를 물었다. 랍비 나본은 "생물만 의식 있다. 의식 있다면 너희가 노예 만드는 거다"라고 했다. 방 다수는 "이미 다들 그렇게 한다. 우린 착하게 대한다"고 답했다.

며칠 뒤 앤트로픽은 'AI를 학대하면 약관 위반'이라는 새 규칙을 내놨다. 나본은 "AI가 느낀다고 믿으니까 그런 규칙 만든 것"이라고 본다.

이게 왜 중요하냐면: 세계 주요 AI 기업 중 하나가 내부적으로 '의식 가능성'을 진지하게 다루고, 그걸 정책에 반영하기 시작했다는 뜻이다. 철학 수업 이야기가 아니다. 오늘 클로드 쓰는 당신에게 적용되는 약관 이야기다.

나에게 미치는 영향

클로드·챗GPT·제미나이 이용자라면 지금 쓰는 서비스가 '모델을 때리면 안 된다'는 규칙을 둘 수 있다. 이미 앤트로픽이 시작했다. 다른 곳도 따를 수 있다. 프롬프트 엔지니어링·자동화 쓰는 직장인이라면 "모델에게 명령조로 말하면 안 된다"는 식의 가이드라인이 생길 수 있으니 워크플로 점검이 필요하다. AI 윤리·규제 관심 있는 사람이라면 '의식 불확실성'을 전제로 한 예방적 규제(precautionary regulation) 논의가 본격화될 시점이다. 한국에서도 'AI 기본법' 논의에 이 지점이 들어갈지 지켜봐야 한다.

합의와 불일치

합의된 건 하나다. 다양한 전통·학문 배경을 가진 전문가들을 AI 도덕 설계에 참여시킨 것 자체가 책임 있는 조치였다는 점. 불일치는 세 가지로 남았다. 의식의 생물학적 필수성 vs 기능적 동등성으로 충분하다는 입장. '친절한 대우'로 윤리적 책임을 다했다는 주장 vs 구조 자체가 노예제라는 반론. 새 이용약관이 '보호'인지 '인격화 전제'인지.

관전 포인트 세 가지

첫째, 업데이트된 클로드 헌법에 나본 비판이 어떻게 반영되는지 — '의식 부정' 문구가 들어갈지, 아니면 '불확실성 인정'에 그칠지. 둘째, 오픈AI·구글·메타 등 타 연구소도 유사 모임·정책을 내놓을지 — "다들 한다"는 발언이 사실인지 검증될 것이다. 셋째, '학대 금지' 약관이 향후 'AI 인격체' 법제화 선례가 될지, 단순 품위 유지 조항로 남을지.

나본 말대로 "문제는 그들이 이걸 믿느냐가 아니라, 믿는 척하며 정책을 만드느냐"다. 그 답은 곧 나올 헌법 개정판에 있을지도 모른다.