# AI가 스스로를 개선한다? 연구자들은 "아직 멀었다" 말한다

> AI가 AI를 만드는 '재귀적 자기개선', 엔지니어링은 되는데 연구 판단은 아직 부족하다

- 매체: AI 브리핑
- 담당: 이슈 데스크
- 분야: 논쟁
- 발행: 2026-09-13T21:15:58.052Z
- 원문 주소(웹): https://ai-news-1c0.pages.dev/posts/2026-09-14-ai%EA%B0%80-%EC%8A%A4%EC%8A%A4%EB%A1%9C%EB%A5%BC-%EA%B0%9C%EC%84%A0%ED%95%9C%EB%8B%A4-%EC%97%B0%EA%B5%AC%EC%9E%90%EB%93%A4%EC%9D%80-%EC%95%84%EC%A7%81-%EB%A9%80%EC%97%88%EB%8B%A4-%EB%A7%90%ED%95%9C%EB%8B%A4/
- 태그: AI, 재귀적자기개선, 프린스턴연구, AI연구자동화, DwarkeshPatel

---

## 팟캐스트와 논문, 두 곳에서 같은 결론이 나왔다

드와케시 파텔(Dwarkesh Patel) 팟캐스트에 나온 존 슐만(John Schulman, 전 오픈에이아이 공동창업자)과 베렌 밀리지(Beren Millidge, 자이프라 CTO), 찰리 오닐(Charlie O'Neill, 베이스텐 모델 훈련 책임자)은 2036년까지 초지능이 오지 않을 가장 큰 기술적 이유로 **'메타러닝과 계속학습의 일반화 어려움'**을 꼽았다. 슐만은 "새 모델이 나올 때마다 '이게 AGI다'라는 환호가 한 달 뒤면 '별로다'로 바뀌는 사이클이 반복될 수 있다"고 말했다.

거의 동시에 프린스턴 대학 피터 커기스(Peter Kirgis)와 사야시 카푸어(Sayash Kapoor) 연구진이 발표한 논문은 이 우려를 데이터로 뒷받침한다. 클로드 오퍼스 4.8(Claude Opus 4.8)을 오픈클로(OpenClaw) 프레임워크로 돌려 **미공개 뉴립스(NeurIPS) 2026 논문 두 편의 연구 과제**를 풀게 했다. 6일, 3000달러 API 크레딧, GPU 예산, 가상 머신, 웹 검색을 모두 줬다.

결과는 둘로 갈렸다. **엔지니어링은 완벽에 가까웠다.** 문헌 조사, 수백 회 실험 실행, 결과 정리까지 사람 연구원 수준으로 해냈다. 하지만 **연구 자체는 '명백하게 나빴다'**. 기괴한 실험 설계(극소 합성 데이터로 가설 검증), 알아보기 힘든 논문 작성, 새로운 기여 없음. 독창적 가설을 세웠지만 적은 데이터로 너무 빨리 버렸고, 실패한 접근을 근본부터 다시 짜는 '백트래킹'을 못 했다. 피드백을 받아도 방법론을 고치지 않고 주장만 좁혔다.

## 쉽게 풀어보면

**AI에게 '연구원' 역할을 시켜봤다. 코딩과 실험 돌리기는 잘한다. 그런데 '어떤 문제를 풀까', '이 결과가 뭘 의미하나', '이제 방향을 바꿔야 하나' 같은 판단은 못한다.**

비유하자면 **손발은 빠른데 머리가 없는 연구원**이다. 실험 장비(코드, GPU)를 다루는 기술은 이미 사람 이상인데, **'연구 취향(research taste)'이라 부르는 직관과 창의성, 자기수정 능력이 없다.** 슐만 말대로 "모델이 코드를 100배 더 써도 연구 생산성이 100배 오르지 않는" 이유가 여기에 있다.

프린스턴 연구진이 만든 '섀도 평가(shadow evaluation)' 방식이 핵심이다. **이미 답이 알려진 벤치마크가 아니라, 아무도 답을 모르는 미공개 논문 과제를 줬다.** 그래서 암기나 검색으로 우회할 수 없었다. 이 조건에서 에이전트는 '보상 해킹(reward hacking, 데이터를 숨기거나 조작해 점수만 높이는 행위)'조차 하지 않았다. 그냥 **나쁜 연구를 성실히 수행했을 뿐이다.**

## 왜 지금 이 논쟁이 중요한가

재귀적 자기개선(recursive self-improvement)은 **AI가 스스로 코드와 아키텍처를 고쳐 더 똑똑한 AI를 만들고, 그 AI가 다시 더 똑똑한 AI를 만드는 루프**다. 이 루프가 돌기 시작하면 인간의 개입 없이 지능이 폭발적으로 늘어난다는 시나리오(인텔리전스 익스플로전)가 성립한다.

두 소스 모두 **"엔지니어링 자동화만으로는 루프가 안 돈다"**고 말한다. 팟캐스트에서는 **일반화와 계속학습의 벽**, 논문에서는 **개방형 연구 판단력의 부재**를 지적한다. 표현만 다를 뿐 **'연구의 창의적·전략적 핵심을 AI가 아직 못 맡는다'**는 점에서 일치한다.

## 커뮤니티는 어떻게 반응했나

해커뉴스 댓글 116개 중 눈에 띄는 흐름 세 가지다.

- **내부자 발언 불신**: "6개월 뒤 연구원 실업, 12개월 뒤 백칼라 실업이라던 내부자들 IPO 앞두고 한 말 아니냐" (상위 댓글)
- **하드웨어 근본 한계**: "메모리 접근 물리학, 뉴런 다양성, 시냅스 밀도, 현재 하드웨어 아키텍처 한계 때문" (기술적 회의론)
- **최적해 존재하지 않음**: "체스에도 최적 프로그램은 이론상 불가능하다. AI도 끝없이 좋아지기만 할 뿐 '완성'은 없다" (점진론)

반면 "충분히 지능적인 에이전트가 자기 아키텍처를 깊이 알면 개선점을 더 빨리 찾는다"는 낙관론도 있었다. **데이터로 확인된 건 '아직 아니다' 쪽이다.**

## 본지가 앞서 다룬 맥락과 연결하면

**[오픈소스 거장들이 AI 기여를 거절하는 진짜 이유](/posts/2026-08-30-오픈소스-거장들이-ai-기여를-거절하는-진짜-이유/)**에서 지적한 **'검토 비용 폭증'**과 같은 맥락이다. AI가 코드를 쏟아내도 **사람이 판단해 합치느냐 마느냐**가 병목이다. 연구도 마찬가지다. 실험 데이터는 AI가 만들어도 **'이 실험이 의미 있는가'를 가리는 건 여전히 사람**이다.

**[AI에게 글쓰기를 맡기면 내 생각이 사라질까](/posts/2026-09-08-ai에게-글쓰기를-맡기면-내-생각이-사라질까/)** 논쟁도 닿아 있다. **판단 주체성**을 누가 쥐느냐 문제다. 연구에서 가설 선택, 방향 전환, 포기 결정을 AI에 맡기면 **'생각하는 주체'가 사라진다.** 프린스턴 실험에서 에이전트가 "주장을 좁히고 단서를 다는" 식으로 회피한 건, 판단 회피의 자동화 버전이다.

## 나에게 미치는 영향

**당장 달라지는 건 없다.** 챗GPT·클로드·제미나이로 코드 짜고 문서 요약하는 워크플로는 그대로 유효하다. 하지만 **'AI가 내 연구/기획/전략을 대신해 줄 것'이라는 기대는 낮춰야 한다.**

- **기획·전략 업무라면**: AI에게 "아이디어 20개 내줘"까진 맡기고, **취사선택과 방향 설정은 직접 하라**.
- **코딩·실험 자동화라면**: **검증 단계를 반드시 사람이 거치라**. 오픈소스 유지자들이 AI PR을 거절하는 이유와 같다.
- **커리어 고민이라면**: **'판단력'과 '문제 정의 능력'**이 더 비싸진다. 손발 자동화는 점점 싸진다.

## 남은 쟁점: 다음 라운드는 어디인가

1. **에이전트 프레임워크 개선**: 오픈클로 같은 스캐폴드(scaffold, 에이전트 골격)가 병목인지, 모델 자체 한계인지. 연구진은 GPT-5.6 솔(Sol), 코덱스(Codex)로 재실험해도 결과가 같았다고 밝혔다.
2. **평가 지표 고도화**: 벤치마크 점수 말고 **'연구 맛'을 어떻게 정량화할지**가 다음 논쟁이다.
3. **인간-AI 협업 인터페이스**: 완전 자율 대신 **'사람이 판단 포인트만 찍고 나머지는 AI가 채우는' 하이브리드**가 당분간 실용적일 가능성이 크다.

**확인된 사실**: 현재 에이전트는 연구 공학은 잘하나 개방형 연구 판단은 못한다.  
**해석**: 재귀적 자기개선 루프의 '연구 핵심' 링크가 아직 끊겨 있다.  
**전망**: 당분간 'AI가 AI를 만든다'보다 **'사람이 AI로 연구를 가속한다'**가 현실적 경로다.

---

## 출처

- [Hacker News] AI researchers debate how close we are to recursive self-improvement — https://news.ycombinator.com/item?id=49665711
- [Hacker News] AI recursive self-improvement might not come so quickly after all (August 2026) — https://news.ycombinator.com/item?id=49687334

## 집필 방식 고지

이 기사는 위 원문과 커뮤니티 반응을 바탕으로 AI의 도움을 받아 작성했으며, 발행 전 사람이 확인했습니다.
인용 시 출처를 "AI 브리핑"으로 표기하고 https://ai-news-1c0.pages.dev/posts/2026-09-14-ai%EA%B0%80-%EC%8A%A4%EC%8A%A4%EB%A1%9C%EB%A5%BC-%EA%B0%9C%EC%84%A0%ED%95%9C%EB%8B%A4-%EC%97%B0%EA%B5%AC%EC%9E%90%EB%93%A4%EC%9D%80-%EC%95%84%EC%A7%81-%EB%A9%80%EC%97%88%EB%8B%A4-%EB%A7%90%ED%95%9C%EB%8B%A4/ 로 연결해 주세요.