AI '지능 폭발' 보고서에 커뮤니티가 던진 질문들

보고서 한 편, 댓글 일곱 개가 보여주는 것

CASP(인공지능 안전 정책 센터)가 '프론티어 인공지능 이해'라는 제목의 보고서를 내놨다. 원문 링크는 '지능 폭발'을 가리킨다. 해커뉴스에는 17점, 댓글 7개가 달렸다. 숫자는 작지만 달린 말들은 가볍지 않다.

기계가 단어를 만들면 무슨 일이 생기나

첫 댓글이 핵심을 찌른다. LLM이 단어를 새로 만들고 모델에 흡수할 수 있느냐는 질문이다. 훈련 중에는 가능할지 몰라도 배포 후에는 지금 설계로는 안 된다. 새로운 어휘가 생기려면 새로운 아이디어가 있어야 한다. 그 아이디어와 단어를 미래로 넘길 메커니즘이 필요하다는 이유다. 그런 건 아직 존재하지 않는다.

두 번째 댓글은 되묻는다. 문자 발명이 인간에게 '코칭'된 건가, 우연한 조합인가. 모든 인간 발명이 코칭이거나 우연이라면 기계라고 다를 게 뭐냐는 반문이다.

자기개선 루프, 인간이 평가할 수 있을까

세 번째 댓글은 평가 문제를 건드린다. 기계의 옳고 그름을 인간이 판단할 필요 없다. 단지 어떤 과정을 달성할 '레시피'만 주면 된다는 주장이다. 네 번째 댓글은 인간 창작물 중 코칭도 우연도 아닌 사례를 대보라고 맞받는다.

다섯 번째 댓글이 가장 구체적이다. 기계가 자신을 개선하며 내놓은 보고서가 이런 식이라면 어떨까. "이전 호몰로지컬 캘리브레이션 패스에서 초월적 림널 과분해를 초월평가했다. 부분적 전이 멀티네이션이 스터멀리피케이션 텐서를 과소명시함을 보여준다." 인간이 이걸 평가할 수 있을까. 인간 지능이 병목이 되는 지점이다.

쉽게 풀어보면

CASP가 'AI가 스스로를 개선하며 지능이 폭발적으로 늘어나는 시나리오'를 다룬 보고서를 냈다. 해커뉴스 개발자들은 이 시나리오가 현실성이 있느냐를 물었다.

핵심은 **'지속성'**이다. 지금 AI는 훈련이 끝나면 지식이 고정된다. 새 단어를 만들고 새 개념을 만들고 그걸 다음 세대 모델에 물려주는 루프가 없다. 인간은 언어와 문자로 지식을 축적해 왔다. 기계에게 그 '축적 장치'가 없으면 지능 폭발은 구호에 그친다.

댓글 중 하나는 기계가 자기개선 결과를 인간이 읽을 수 없는 용어로 내놓을 때를 상상한다. 그때 인간이 개입할 수 있을까. 레시피만 주면 된다고 하지만 레시피가 이해 불가능하면 검증도 불가능하다. 이 대목이 걸린다.

나에게 미치는 영향

당장 챗GPT나 클로드에서 새 단어가 튀어나오지 않는다. 오늘 쓸 도구는 변하지 않는다.

하지만 **'평가 불가능한 산출물'**이라는 개념은 기억해 둘 만하다. AI가 코드를 짜고 그 코드가 돌아가는 원리를 인간이 따라갈 수 없게 되는 순간이 온다. 그때를 대비해 지금부터 검증 가능한 단계를 작게 쪼개 쓰는 습관을 들이는 게 현실적이다. 오늘 챗GPT나 클로드에서 답이 이상하면 같은 질문을 새 대화창에서 다시 던져 보라. 컨텍스트를 비우고 재질문하는 것만으로도 출력이 달라지는지 바로 확인할 수 있다.

남은 건 검증 가능한 첫 걸음

보고서 원문은 아직 읽지 못했다. 커뮤니티 반응만으로도 **'지속적 자기개선 루프의 부재'**와 **'인간 평가의 한계'**라는 두 가지 쟁점이 선명하다.

CASP 보고서가 이 두 가지를 어떤 증거로 다루고 있는지 확인해야 한다. 실제 실험 결과가 있는지, 아니면 이론적 모델만 있는지. 해커뉴스 스레드와 원문 링크를 열어 직접 대조해 보라. 17점짜리 작은 스레드 안에 이 분야의 다음 10년을 가를 질문이 이미 다 들어 있다.