GPT-6 아스트라, ARC-AGI-3 99.9%… 하지만 'AGI'라 부르기엔 이른 이유

오픈AI가 새 모델 'GPT-6 아스트라'를 내놓았다. ARC-AGI-3라는 추론 벤치마크에서 99.9%를 찍었다. 발표문만 보면 'AGI 도래' 같다. 하지만 자료를 뜯어보면 숫자 이면에 놓인 조건이 만만치 않다.

점수 뒤에 숨은 두 가지 하네스 차이

ARC-AGI-3는 생소한 퍼즐 환경을 스스로 탐색해 규칙을 파악하고 풀어야 하는 테스트다. 아스트라는 두 가지 방식으로 측정됐다.

스탠다드 하네스에서는 62.7%를 기록했다. 모델이 스스로 메모를 남겨가며 풀게 한 방식이다. 비용은 2만6천 달러 들었다.

프로바이더 어댑터 하네스에서는 99.9%가 나왔다. 추론 상태를 요청 사이에 보존하고 긴 대화에서 압축 재사용하는 방식이다. 비용은 1만9천 달러로 더 적게 들었다.

같은 모델인데 하네스만 바꿨더니 점수가 37%포인트 뛰었다. 발표문은 "추론 레벨이 높을수록 행동 수가 줄어 총 비용이 낮아진다"고 설명한다. 하지만 이는 테스트 환경에서만 가능한 특수 설정이다. 일반 사용자가 API로 쓸 때는 이 하네스를 그대로 쓰기 어렵다.

인간보다 적은 행동 수… 그런데 전기값은 0.067센트

아스트라는 테스트된 500명 일반인의 중간값보다 적은 행동으로 96% 레벨을 풀었다. '행동 효율'에서 인간을 넘었다는 주장의 근거다.

흥미로운 건 비용 비교다. 인간 참가자에게는 90분 세션당 115달러, 게임당 5달러를 줬다. 게임 하나당 약 12.78달러 들었다. 하지만 뇌 에너지값으로만 치면 0.067센트다. AI 모델이 수만 달러를 써서 인간 '시간값'보다 싸게 풀었다고 홍보하지만, 실제 에너지 효율로는 아직 인간이 압도한다.

이 대목이 걸린다. 벤치마크 주최 측도 "대부분 참가비는 시간과 의지에 대한 보상"이라고 명시했다. AI와 인간을 단순 비교하기엔 단위가 다르다.

자체 개발한 '대수 표기법'이 열쇠였다

리플레이 분석에서 드러난 특징 세 가지.

첫째, 아스트라는 낯선 게임 규칙을 자신만의 압축된 기호 언어로 바꾼다. 객체 좌표, 상호작용 규칙, 미완성 계획을 코드 같은 표기법으로 정리한다. "즉석 대수 속기"라는 표현이 쓰였다.

둘째, 이 표기법 덕분에 행동 낭비 없이 최단 경로를 찾는다. 인간이 시행착오로 풀 때 아스트라는 규칙을 먼저 정식화한다.

셋째, 맞춤 도구를 즉석에서 만들어 재사용한다. 이전 모델에서도 비슷한 행동이 관측됐지만, 아스트라의 정밀도와 정보 밀도가 달랐다.

본지가 3일 전 다룬 소형 트랜스포머의 67센트 ARC 44% 사례와 대비된다. 거대 모델이 수만 달러를 써서 99.9%를 찍는 사이, 작은 모델이 1달러도 안 되는 비용으로 44%를 해결했다. '규모만 키우면 된다'는 서사에 균열이 생긴 건 이번에도 마찬가지다.

커뮤니티 반응 "검증부터, 과장 나중에"

해커뉴스와 레딧 반응은 냉정하다.

• "이걸 인간 지능 척도로 쓰긴 어렵다. 철학자 몫이다. 다만 세대 간 상대 비교용으로는 의미 있다" (해커뉴스)
• "오픈AI 모델들은 상상을 초월하는 과잉 엔지니어링 코드를 쓴다" (해커뉴스)
• "아이큐 테스트? 데이터셋에 다 들어있어서 의미 없다" (해커뉴스)

본지가 오늘 다룬 커뮤니티 회의론 기사와 같은 맥락이다. 발표 직후 'AGI 시대 개막' 같은 헤드라인이 돌았지만, 실제 개발자·연구자 사이에서는 독립 재현과 일반화 검증을 먼저 요구한다.

쉽게 풀어보면

오픈AI가 새 모델 'GPT-6 아스트라'를 발표했다. ARC-AGI-3라는 '낯선 퍼즐을 스스로 파악해 푸는 능력' 테스트에서 99.9%를 기록했다.

비유하자면 이렇다. 처음 보는 보드게임 규칙서를 안 주고 "직접 해봐서 규칙 알아내서 이겨라"라고 시키는 시험이다. 아스트라는 게임을 몇 번 해보더니 자신만의 기호 암호로 규칙을 정리해 적어뒀다. 그리고 사람보다 적은 수로 클리어했다.

단, 이 99.9%는 **특수 테스트 도구(프로바이더 어댑터 하네스)**를 썼을 때만 나온다. 일반 사용자가 챗GPT나 API로 쓸 때는 이 도구를 못 쓴다. 보통 방식(스탠다드 하네스)으론 62.7%다. 비용도 테스트 한 번에 1만9천 달러(약 2천5백만 원) 들었다.

인간보다 '행동 효율'이 좋다는 주장도 있다. 하지만 인간 참가자 비용 12달러 중 11.99달러는 '시간값'이다. 뇌 전기값만 따지면 0.067센트다. AI가 인간 '노동비'보다 싼 건 맞지만, '에너지 효율'로는 아직 인간이 이긴다.

나에게 미치는 영향

당장 챗GPT나 클로드에서 체감할 변화는 없다. 이 모델은 아직 공개 API로 나온 게 아니다. 오픈AI가 '아스트라'라는 이름으로 스테이징(시험 배포)만 했을 뿐, 정식 출시 일정·가격·무료 제공 여부는 모두 미정이다.

개발자라면 ARC-AGI-3 같은 '에이전트형 추론' 벤치마크가 앞으로 중요해질 걸 염두에 두고, 본인 서비스에 맞는 소형 모델·프롬프트 엔지니어링으로 비용 대비 성능을 뽑는 쪽이 현실적이다. 본지가 다룬 67센트 소형 모델 사례가 그 예다.

일반 사용자라면 "AGI 왔다"는 헤드라인에 휘둘리지 말고, 쓰고 있는 서비스(챗GPT, 클로드, 제미나이)에서 답이 이상하면 새 대화창에서 다시 물어보라는 기본기만 기억하면 된다. 모델이 바뀌어도 '문맥 초기화'가 가장 싸고 빠른 디버깅이다.

기다려도 되는 사람: 월 20달러 구독자로서 지금 챗GPT 플러스·클로드 프로로 충분히 일 처리되는 경우.
지금 봐야 할 사람: 에이전트형 워크플로(코드 리팩토링, 다단계 리서치, 자동 테스트)를 직접 짜고 있고, 추론 비용을 줄일 방법을 찾는 개발자·기획자.

남은 쟁점: 독립 검증과 일반화

발표문은 "아스트라가 낯선 환경을 압축된 세계 모델로 바꾼다"고 주장한다. 하지만 이는 ARC-AGI-3라는 특정 벤치마크 안에서만 검증된 행동이다. 실제 웹 브라우징, 코드베이스 탐색, API 연동 같은 복잡한 현실 작업에서도 같은 방식이 통할지는 모른다.

비용 구조도 불투명하다. 1만9천 달러는 벤치마크 전용 하네스에서 측정된 수치다. 범용 API 요금제로 환산하면 얼마가 될지, 무료·유료 티어에서 어떤 제약이 걸릴지 오픈AI는 아직 말하지 않았다.

본지가 앞서 지적했듯, 메타의 뮤즈 스파크 1.3 발표 때도 '따라잡았다'는 헤드라인 뒤에 정작 중요한 비교 조건(컨텍스트 길이, 속도, 가격)은 빠져 있었다. 이번에도 점수만 보고 갈아타기엔 이른 시점이다.

검증은 커뮤니티가 한다. 독립 재현 결과가 나오고, 범용 작업에서 비용 대비 성능이 입증될 때까지 판단은 유보다.