AI가 기업 코드베이스에서 일할 수 있을까, 새 벤치마크가 보여준 현실

실무 코드에서 AI 성능을 처음 측정했다

Real-SWE라는 새 벤치마크가 9일 공개됐다. 기존 벤치마크와 달리 비공개 기업 코드베이스를 라이선스해 실제 엔지니어가 풀던 과제를 그대로 썼다. 제작사 WithSpecific은 "전문가가 만든 과제나 합성 데이터는 현업 엔지니어가 하는 일과 다르다"며 두 가지 차이를 들었다. 기반이 되는 코드 산출물과 지시사항의 구체성이다. 둘 다 현업 복잡도를 더한다.

과제는 청구서 세금 계산 수정처럼 비즈니스 로직이 얽힌 실무다. 여러 비즈니스가 각기 다른 세율 정책을 쓰고, 면세 고객은 과세하지 않으며, 유럽 간 거래엔 양측 부가세 번호가 모두 표기돼야 한다. 주소 검증 실패 시 청구는 멈추지 않고 오류만 기록한다. 이런 요구사항이 코드 11개 파일에 걸쳐 흩어져 있다. FrontierCode나 DeepSWE는 평균 6개 파일이다.

모델 순위보다 실패율이 더 중요하다

순위	모델	성공률
1	Fable 5.1	38.8%
2	GPT-6 Astra	33.8%
3	Gemini 3.8 Flash	31.2%
4	GLM 5.3	28.8%
5	Grok 4.6	23.8%
5	Muse Spark 1.3	23.8%
7	Kimi K3	18.8%
8	GPT-5.6 Sol	16.2%

1위도 38.8%다. 10분 미만 롤아웃 71.4%가 실패했고, 더 긴 롤아웃도 73.4%가 실패했다. 시간이 문제가 아니다. 여러 시스템을 오가며 기존 비즈니스 로직과 코딩 관행을 이해하는 것 자체가 어렵다.

해커뉴스 댓글에서도 "에이전트가 변경 규모를 판단 못 해 계획을 여러 단계로 쪼개야 한다"는 워크플로 경험담이 나왔다. "제미나이 3.8 플래시가 우리 에이전트에서 가장 잘 나온다"는 실무 증언도 있다. GLM 5.3과 Kimi K3가 상위권에 든 점도 눈에 띈다. 비공개 벤치마크는 이미 여럿 존재한다. Artificial Analysis, ARC-AGI처럼 테스터를 신뢰해야 하는 구조라는 지적도 있다.

쉽게 풀어보면

Real-SWE는 실제 회사가 쓰는 비공개 코드를 빌려와 AI에게 "이 버그 고쳐봐"라고 시키는 테스트다. 장난감 과제가 아니다. 청구서 세금 로직처럼 돈과 법이 얽힌 코드다. 파일 11개를 넘나들며 기존 규칙을 깨지 않고 고쳐야 한다.

비유하자면 낯선 회사 레거시 코드베이스에 떨어진 신입 엔지니어 상황이다. 문서도 부족하고, 비즈니스 규칙은 코드 곳곳에 숨어 있다. 선배에게 물어볼 수도 없다. AI는 이걸 혼자 해결해야 한다.

결과: 1등 모델도 10번 중 4번 겨우 성공한다. 10분 안에 끝내든 30분을 쓰든 실패율은 70%대 그대로다. "코딩 에이전트가 개발자 대신 일한다"는 말과 현장 현실 사이 간극을 이 숫자가 보여준다.

나에게 미치는 영향

개발자라면 지금 쓰는 코딩 에이전트(Claude Code, Cursor, GitHub Copilot 등)에 검증 단계를 반드시 넣으세요. 답이 이상하면 새 대화창에서 다시 물어보세요. 계획 파일을 먼저 만들고, 사람이 검토한 뒤 단계별로 실행하는 워크플로가 지금으로선 가장 안전합니다.

비개발 직군이라면 "AI가 코딩 다 해준다"는 홍보 문구에 현혹되지 마세요. 실제 서비스 코드는 테스트 통과만으론 부족합니다. 비즈니스 규칙, 규제, 운영 제약이 코드 밖에도 있습니다. 사람이 최종 책임져야 합니다.

기술 도입 검토 중이라면 벤치마크 숫자만 보지 말고 자사 코드베이스에서 파일 5~10개 넘는 과제를 직접 돌려보세요. 공개 벤치마크 점수와 실무 성능은 다릅니다. Real-SWE 자체가 "비공개 코드로 테스트해야 진짜 성능 안다"는 걸 증명한 셈입니다.

남은 쟁점

WithSpecific은 과제 전체를 공개하지 않았다. 해커뉴스에서 "프로젝트 좀 보여달라"는 요청이 나온 이유다. 비공개 벤치마크는 재현성이 없다. 누가 테스트했는지, 어떤 조건에서 돌렸는지 외부 검증이 안 된다. Artificial Analysis나 ARC-AGI도 같은 비판을 받는다.

또 하나: 한국 기업 코드베이스는 포함됐나? 자료에 없다. 국내 SI·플랫폼·금융권 레거시는 기술 스택과 규제 환경이 다르다. 글로벌 벤치마크 점수가 국내 도입 가이드가 되진 않는다.

본지가 14일 전 다룬 오픈소스 거장들이 AI 기여를 거절하는 진짜 이유에서 지적한 **'검토 비용 폭증'**과 이 벤치마크 결과는 맞닿아 있다. AI가 70% 실패한다면, 나머지 30%마저 사람이 일일이 검증해야 한다. 그 비용이 만만치 않다.

18일 전 대학생 6851명이 블라인드로 뽑은 최고 에세이 AI는 제미나이 기사에서 제미나이가 1위였는데, 이번 코딩 벤치마크에서도 **Gemini 3.8 Flash가 3위(31.2%)**로 상위권이다. 글쓰기와 코딩 모두에서 제미나이 계열이 강세를 보이는 패턴이 보인다.

지금 할 수 있는 것

쓰고 있는 에이전트에 계획-검토-실행 루프를 넣으세요. 무작정 맡기지 마세요.
자사 코드에서 파일 5개 넘는 과제 3~5개를 직접 테스트하세요. 공개 점수보다 그 결과가 정확합니다.
비개발자 협업자에게 "AI가 초안만 만든다, 최종 검수는 사람"이라는 기준을 공유하세요.

Real-SWE는 "AI가 개발자 대신 일한다"는 서사가 아니라 어디까지 믿고 어디부터 사람 손이 필요한가를 가르는 기준점이 될 것으로 보입니다.