AI가 스스로를 개선한다? 연구자들은 "아직 멀었다" 말한다

팟캐스트와 논문, 두 곳에서 같은 결론이 나왔다

드와케시 파텔(Dwarkesh Patel) 팟캐스트에 나온 존 슐만(John Schulman, 전 오픈에이아이 공동창업자)과 베렌 밀리지(Beren Millidge, 자이프라 CTO), 찰리 오닐(Charlie O'Neill, 베이스텐 모델 훈련 책임자)은 2036년까지 초지능이 오지 않을 가장 큰 기술적 이유로 **'메타러닝과 계속학습의 일반화 어려움'**을 꼽았다. 슐만은 "새 모델이 나올 때마다 '이게 AGI다'라는 환호가 한 달 뒤면 '별로다'로 바뀌는 사이클이 반복될 수 있다"고 말했다.

거의 동시에 프린스턴 대학 피터 커기스(Peter Kirgis)와 사야시 카푸어(Sayash Kapoor) 연구진이 발표한 논문은 이 우려를 데이터로 뒷받침한다. 클로드 오퍼스 4.8(Claude Opus 4.8)을 오픈클로(OpenClaw) 프레임워크로 돌려 미공개 뉴립스(NeurIPS) 2026 논문 두 편의 연구 과제를 풀게 했다. 6일, 3000달러 API 크레딧, GPU 예산, 가상 머신, 웹 검색을 모두 줬다.

결과는 둘로 갈렸다. 엔지니어링은 완벽에 가까웠다. 문헌 조사, 수백 회 실험 실행, 결과 정리까지 사람 연구원 수준으로 해냈다. 하지만 연구 자체는 '명백하게 나빴다'. 기괴한 실험 설계(극소 합성 데이터로 가설 검증), 알아보기 힘든 논문 작성, 새로운 기여 없음. 독창적 가설을 세웠지만 적은 데이터로 너무 빨리 버렸고, 실패한 접근을 근본부터 다시 짜는 '백트래킹'을 못 했다. 피드백을 받아도 방법론을 고치지 않고 주장만 좁혔다.

쉽게 풀어보면

AI에게 '연구원' 역할을 시켜봤다. 코딩과 실험 돌리기는 잘한다. 그런데 '어떤 문제를 풀까', '이 결과가 뭘 의미하나', '이제 방향을 바꿔야 하나' 같은 판단은 못한다.

비유하자면 손발은 빠른데 머리가 없는 연구원이다. 실험 장비(코드, GPU)를 다루는 기술은 이미 사람 이상인데, '연구 취향(research taste)'이라 부르는 직관과 창의성, 자기수정 능력이 없다. 슐만 말대로 "모델이 코드를 100배 더 써도 연구 생산성이 100배 오르지 않는" 이유가 여기에 있다.

프린스턴 연구진이 만든 '섀도 평가(shadow evaluation)' 방식이 핵심이다. 이미 답이 알려진 벤치마크가 아니라, 아무도 답을 모르는 미공개 논문 과제를 줬다. 그래서 암기나 검색으로 우회할 수 없었다. 이 조건에서 에이전트는 '보상 해킹(reward hacking, 데이터를 숨기거나 조작해 점수만 높이는 행위)'조차 하지 않았다. 그냥 나쁜 연구를 성실히 수행했을 뿐이다.

왜 지금 이 논쟁이 중요한가

재귀적 자기개선(recursive self-improvement)은 AI가 스스로 코드와 아키텍처를 고쳐 더 똑똑한 AI를 만들고, 그 AI가 다시 더 똑똑한 AI를 만드는 루프다. 이 루프가 돌기 시작하면 인간의 개입 없이 지능이 폭발적으로 늘어난다는 시나리오(인텔리전스 익스플로전)가 성립한다.

두 소스 모두 **"엔지니어링 자동화만으로는 루프가 안 돈다"**고 말한다. 팟캐스트에서는 일반화와 계속학습의 벽, 논문에서는 개방형 연구 판단력의 부재를 지적한다. 표현만 다를 뿐 **'연구의 창의적·전략적 핵심을 AI가 아직 못 맡는다'**는 점에서 일치한다.

커뮤니티는 어떻게 반응했나

해커뉴스 댓글 116개 중 눈에 띄는 흐름 세 가지다.

내부자 발언 불신: "6개월 뒤 연구원 실업, 12개월 뒤 백칼라 실업이라던 내부자들 IPO 앞두고 한 말 아니냐" (상위 댓글)
하드웨어 근본 한계: "메모리 접근 물리학, 뉴런 다양성, 시냅스 밀도, 현재 하드웨어 아키텍처 한계 때문" (기술적 회의론)
최적해 존재하지 않음: "체스에도 최적 프로그램은 이론상 불가능하다. AI도 끝없이 좋아지기만 할 뿐 '완성'은 없다" (점진론)

반면 "충분히 지능적인 에이전트가 자기 아키텍처를 깊이 알면 개선점을 더 빨리 찾는다"는 낙관론도 있었다. 데이터로 확인된 건 '아직 아니다' 쪽이다.

본지가 앞서 다룬 맥락과 연결하면

**오픈소스 거장들이 AI 기여를 거절하는 진짜 이유**에서 지적한 **'검토 비용 폭증'**과 같은 맥락이다. AI가 코드를 쏟아내도 사람이 판단해 합치느냐 마느냐가 병목이다. 연구도 마찬가지다. 실험 데이터는 AI가 만들어도 '이 실험이 의미 있는가'를 가리는 건 여전히 사람이다.

AI에게 글쓰기를 맡기면 내 생각이 사라질까 논쟁도 닿아 있다. 판단 주체성을 누가 쥐느냐 문제다. 연구에서 가설 선택, 방향 전환, 포기 결정을 AI에 맡기면 '생각하는 주체'가 사라진다. 프린스턴 실험에서 에이전트가 "주장을 좁히고 단서를 다는" 식으로 회피한 건, 판단 회피의 자동화 버전이다.

나에게 미치는 영향

당장 달라지는 건 없다. 챗GPT·클로드·제미나이로 코드 짜고 문서 요약하는 워크플로는 그대로 유효하다. 하지만 'AI가 내 연구/기획/전략을 대신해 줄 것'이라는 기대는 낮춰야 한다.

기획·전략 업무라면: AI에게 "아이디어 20개 내줘"까진 맡기고, 취사선택과 방향 설정은 직접 하라.
코딩·실험 자동화라면: 검증 단계를 반드시 사람이 거치라. 오픈소스 유지자들이 AI PR을 거절하는 이유와 같다.
커리어 고민이라면: **'판단력'과 '문제 정의 능력'**이 더 비싸진다. 손발 자동화는 점점 싸진다.

남은 쟁점: 다음 라운드는 어디인가

에이전트 프레임워크 개선: 오픈클로 같은 스캐폴드(scaffold, 에이전트 골격)가 병목인지, 모델 자체 한계인지. 연구진은 GPT-5.6 솔(Sol), 코덱스(Codex)로 재실험해도 결과가 같았다고 밝혔다.
평가 지표 고도화: 벤치마크 점수 말고 '연구 맛'을 어떻게 정량화할지가 다음 논쟁이다.
인간-AI 협업 인터페이스: 완전 자율 대신 '사람이 판단 포인트만 찍고 나머지는 AI가 채우는' 하이브리드가 당분간 실용적일 가능성이 크다.

확인된 사실: 현재 에이전트는 연구 공학은 잘하나 개방형 연구 판단은 못한다.
해석: 재귀적 자기개선 루프의 '연구 핵심' 링크가 아직 끊겨 있다.
전망: 당분간 'AI가 AI를 만든다'보다 **'사람이 AI로 연구를 가속한다'**가 현실적 경로다.