GPT-6 아스트라, 코드 리뷰에서 20% 더 잡았다… 하지만 가격은 2.5배

코드래빗이 아스트라를 테스트한 이유

코드리뷰 자동화 스타트업 코드래빗이 오픈AI의 새 모델 GPT-6 아스트라를 실무 환경에서 평가했다. 바뀐 코드 줄만 보면 정상으로 보이는 변경이, 다른 파일을 망가뜨리는 경우를 잡아내기 위해서다. 이들이 측정한 지표는 **'실행 가능한 버그 커버리지'**다. 개발자가 바로 고칠 수 있는 지적 사항으로 연결된 버그 비율을 말한다.

평가 대상은 GPT-5.6 솔과 앤스로픽의 오퍼스 5다. 전체 리뷰에서 아스트라는 솔보다 약 4%, 오퍼스 5보다 22% 더 많은 버그를 찾아냈다. 수치만 보면 솔 대비 격차는 작아 보인다. 하지만 코드래빗은 어려운 교차 파일 리뷰만 떼어내면 아스트라의 우위가 20%(솔), 33%(오퍼스 5)까지 벌어진다고 밝혔다.

교차 파일 리뷰에서 드러난 차이

단일 파일 수정은 컨텍스트가 좁아 강한 모델도 약한 모델도 비슷하게 맞춘다. 반면 여러 파일에 걸친 영향도를 따져야 하는 리뷰는 관련 정보를 연결하는 추론력이 갈린다. 아스트라의 큰 폭 향상이 바로 이 지점에서 나왔다.

코드래빗은 "관련 정보가 분산된 작업에서 진전이 있었다"고 해석한다. 다만 원인이 컨텍스트 창 확대인지, 추론 능력 향상인지 분리하지 못했다고 덧붙였다. 오픈AI는 아스트라를 코드·브라우저·전문 소프트웨어를 넘나드는 다단계 작업용으로 포지셔닝한다.

가격표를 꺼내면 계산이 바뀐다

아스트라 표준 API 요금은 입력 토큰 100만 개당 10달러, 출력 토큰 100만 개당 50달러다. 코드래빗은 **고정 사용량(입력 10만, 출력 1만 토큰)**으로 환산해 비교했다. 이 조건에서 아스트라는 솔보다 2.5배, 테라보다 4.7배, 루나보다 47배 비싸다.

오픈AI는 자체 평가에서 아스트라의 작업당 총비용이 더 낮게 나온다고 주장한다. 토큰 단가는 비싸도 추론 횟수나 시도 횟수가 줄어들 수 있다는 논리다. 코드래빗도 "토큰 가격이나 점수만 보고 결정하지 말고, 본인 업무에서 성공당 총비용을 측정하라"고 권한다.

게임 개발 실험에서 본 한계

코드래빗은 아스트라로 고도트·GD스크립트 액션 RPG '나이트시프트'를 만들었다. 7개 직업, 988개 노드 패시브 트리, 40개 존·10개 액트 캠페인까지 시스템 간 균형 조정이 핵심 과제였다. 한 직업을 고치면 업그레이드 가치, 스킬 발전, 파티 조합이 연쇄적으로 변한다.

아스트라는 이 복잡한 의존성망을 추론하며 리밸런싱을 도왔다. 하지만 코드래빗은 "검증된 작업만 아스트라에 맡기고, 루틴한 일은 저렴한 모델로 돌리라"고 조언한다. 모든 세션을 아스트라로 돌리며 최대 추론 모드로 두는 건 비용 낭비라는 뜻이다.

평가에 빠진 조건들

이 평가는 라벨이 붙은 버그를 기준으로 했다. 실제 필드에서 발생하는 미탐 버그, 거짓 양성 비율, 리뷰 속도, 개발자 수용률은 측정되지 않았다. 또 단일 리포지토리, 단일 언어 환경에서의 결과다. 코드래빗 스스로 "전체 리뷰 품질 순위를 확정하지 않는다"고 선을 그었다.

본지가 앞서 다룬 오픈AI 'GPT-6 아스트라' 언급에 커뮤니티는 회의적 반응에서도 검증 없는 발표에 대한 불신이 컸다. 이번엔 실무 도구가 직접 테스트한 데이터가 나왔지만, 독립 재현 결과는 아직 없다. 오픈라우터에 'GPT-6 아스트라' 등장… 실체는 여전히 안개 속 기사에서 지적된 접근성·가격 불투명성도 여전하다.

쉽게 풀어보면

코드래빗이 GPT-6 아스트라를 실제 코드 리뷰에 써봤다. 여러 파일을 넘나들며 버그를 찾는 어려운 문제에서 기존 모델(GPT-5.6 솔, 오퍼스 5)보다 20~33% 더 많은 버그를 잡아냈다. 단순 수정 리뷰에서는 차이가 거의 없었다.

문제는 가격이다. API 요금이 솔보다 2.5배 비싸다. 오픈AI는 "생각을 더 잘해서 시도 횟수가 줄어드니 총비용은 비슷하다"고 주장하지만, 내 코드베이스에서 그게 사실인지는 아무도 모른다. 코드래빗은 직접 비교 테스트를 돌려보라고 권한다.

게임 밸런스 조정처럼 규칙이 복잡하게 얽힌 시스템을 고칠 때 아스트라가 힘을 발휘했다. 반면 정형화된 리뷰는 싼 모델로 충분하다. 지금은 '비싼 모델을 어디에 쓸지'를 가리는 단계다.

나에게 미치는 영향

지금 아스트라를 쓸 팀

대형 모노레포에서 교차 파일 의존성이 잦은 팀
리뷰 병목이 심해 거짓 음성(놓친 버그) 비용이 매우 큰 팀
토큰 사용량을 직접 측정해 작업당 비용을 비교할 여력이 있는 팀

기다려도 되는 팀

단일 서비스·소규모 레포지토리를 운영하는 팀
기존 솔·오퍼스 5로 리뷰 품질이 이미 만족스러운 팀
월 API 예산이 고정돼 있어 2.5배 비용 증가를 감당하기 어려운 팀

오늘 해볼 수 있는 것

현재 쓰는 리뷰 도구(챗GPT, 클로드, 커서 등)에 같은 PR을 던져 결과 저장
아스트라 API 키를 발급받아 동일 PR에 적용, 잡힌 버그 수·토큰 사용량·응답 시간 기록
두 결과를 나란히 놓고 '버그 1개당 추가 비용' 계산

아스트라가 비싸도 '놓친 버그 한 건이 프로덕션 장애로 이어지는 비용'보다 싸면 도입이 맞다. 그 계산을 지금 시작하면 된다.