# AI가 기업 코드베이스에서 일할 수 있을까, 새 벤치마크가 보여준 현실

> 기업 실제 코드에서 AI 코딩 에이전트 성능을 처음 측정했다, 성공률 38%가 최고 기록

- 매체: AI 브리핑
- 담당: 리서치 데스크
- 분야: 연구
- 발행: 2026-09-12T23:21:50.124Z
- 원문 주소(웹): https://ai-news-1c0.pages.dev/posts/2026-09-13-ai%EA%B0%80-%EA%B8%B0%EC%97%85-%EC%BD%94%EB%93%9C%EB%B2%A0%EC%9D%B4%EC%8A%A4%EC%97%90%EC%84%9C-%EC%9D%BC%ED%95%A0-%EC%88%98-%EC%9E%88%EC%9D%84%EA%B9%8C-%EC%83%88-%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC%EA%B0%80-%EB%B3%B4%EC%97%AC%EC%A4%80-%ED%98%84%EC%8B%A4/
- 태그: AI벤치마크, 코딩에이전트, 실무평가, 제미나이, 기업개발

---

## 실무 코드에서 AI 성능을 처음 측정했다

Real-SWE라는 새 벤치마크가 9일 공개됐다. 기존 벤치마크와 달리 **비공개 기업 코드베이스를 라이선스해 실제 엔지니어가 풀던 과제**를 그대로 썼다. 제작사 WithSpecific은 "전문가가 만든 과제나 합성 데이터는 현업 엔지니어가 하는 일과 다르다"며 두 가지 차이를 들었다. 기반이 되는 코드 산출물과 지시사항의 구체성이다. 둘 다 현업 복잡도를 더한다.

과제는 청구서 세금 계산 수정처럼 **비즈니스 로직이 얽힌 실무**다. 여러 비즈니스가 각기 다른 세율 정책을 쓰고, 면세 고객은 과세하지 않으며, 유럽 간 거래엔 양측 부가세 번호가 모두 표기돼야 한다. 주소 검증 실패 시 청구는 멈추지 않고 오류만 기록한다. 이런 요구사항이 코드 11개 파일에 걸쳐 흩어져 있다. FrontierCode나 DeepSWE는 평균 6개 파일이다.

## 모델 순위보다 실패율이 더 중요하다

| 순위 | 모델 | 성공률 |
|------|------|--------|
| 1 | Fable 5.1 | 38.8% |
| 2 | GPT-6 Astra | 33.8% |
| 3 | Gemini 3.8 Flash | 31.2% |
| 4 | GLM 5.3 | 28.8% |
| 5 | Grok 4.6 | 23.8% |
| 5 | Muse Spark 1.3 | 23.8% |
| 7 | Kimi K3 | 18.8% |
| 8 | GPT-5.6 Sol | 16.2% |

1위도 38.8%다. **10분 미만 롤아웃 71.4%가 실패했고, 더 긴 롤아웃도 73.4%가 실패했다.** 시간이 문제가 아니다. 여러 시스템을 오가며 기존 비즈니스 로직과 코딩 관행을 이해하는 것 자체가 어렵다.

해커뉴스 댓글에서도 "에이전트가 변경 규모를 판단 못 해 계획을 여러 단계로 쪼개야 한다"는 워크플로 경험담이 나왔다. "제미나이 3.8 플래시가 우리 에이전트에서 가장 잘 나온다"는 실무 증언도 있다. GLM 5.3과 Kimi K3가 상위권에 든 점도 눈에 띈다. 비공개 벤치마크는 이미 여럿 존재한다. Artificial Analysis, ARC-AGI처럼 **테스터를 신뢰해야 하는 구조**라는 지적도 있다.

## 쉽게 풀어보면

Real-SWE는 **실제 회사가 쓰는 비공개 코드**를 빌려와 AI에게 "이 버그 고쳐봐"라고 시키는 테스트다. 장난감 과제가 아니다. 청구서 세금 로직처럼 돈과 법이 얽힌 코드다. 파일 11개를 넘나들며 기존 규칙을 깨지 않고 고쳐야 한다.

비유하자면 **낯선 회사 레거시 코드베이스에 떨어진 신입 엔지니어** 상황이다. 문서도 부족하고, 비즈니스 규칙은 코드 곳곳에 숨어 있다. 선배에게 물어볼 수도 없다. AI는 이걸 혼자 해결해야 한다.

결과: 1등 모델도 10번 중 4번 겨우 성공한다. 10분 안에 끝내든 30분을 쓰든 실패율은 70%대 그대로다. **"코딩 에이전트가 개발자 대신 일한다"는 말과 현장 현실 사이 간극**을 이 숫자가 보여준다.

## 나에게 미치는 영향

**개발자라면** 지금 쓰는 코딩 에이전트(Claude Code, Cursor, GitHub Copilot 등)에 **검증 단계를 반드시 넣으세요.** 답이 이상하면 새 대화창에서 다시 물어보세요. 계획 파일을 먼저 만들고, 사람이 검토한 뒤 단계별로 실행하는 워크플로가 지금으로선 가장 안전합니다.

**비개발 직군이라면** "AI가 코딩 다 해준다"는 홍보 문구에 현혹되지 마세요. 실제 서비스 코드는 테스트 통과만으론 부족합니다. 비즈니스 규칙, 규제, 운영 제약이 코드 밖에도 있습니다. 사람이 최종 책임져야 합니다.

**기술 도입 검토 중이라면** 벤치마크 숫자만 보지 말고 **자사 코드베이스에서 파일 5~10개 넘는 과제**를 직접 돌려보세요. 공개 벤치마크 점수와 실무 성능은 다릅니다. Real-SWE 자체가 "비공개 코드로 테스트해야 진짜 성능 안다"는 걸 증명한 셈입니다.

## 남은 쟁점

WithSpecific은 과제 전체를 공개하지 않았다. 해커뉴스에서 "프로젝트 좀 보여달라"는 요청이 나온 이유다. 비공개 벤치마크는 **재현성이 없다.** 누가 테스트했는지, 어떤 조건에서 돌렸는지 외부 검증이 안 된다. Artificial Analysis나 ARC-AGI도 같은 비판을 받는다.

또 하나: **한국 기업 코드베이스는 포함됐나?** 자료에 없다. 국내 SI·플랫폼·금융권 레거시는 기술 스택과 규제 환경이 다르다. 글로벌 벤치마크 점수가 국내 도입 가이드가 되진 않는다.

본지가 14일 전 다룬 [오픈소스 거장들이 AI 기여를 거절하는 진짜 이유](/posts/2026-08-30-오픈소스-거장들이-ai-기여를-거절하는-진짜-이유/)에서 지적한 **'검토 비용 폭증'**과 이 벤치마크 결과는 맞닿아 있다. AI가 70% 실패한다면, 나머지 30%마저 사람이 일일이 검증해야 한다. 그 비용이 만만치 않다.

18일 전 [대학생 6851명이 블라인드로 뽑은 최고 에세이 AI는 제미나이](/posts/2026-08-26-대학생-6851명이-블라인드로-뽑은-최고-에세이-ai는-제미나이/) 기사에서 제미나이가 1위였는데, 이번 코딩 벤치마크에서도 **Gemini 3.8 Flash가 3위(31.2%)**로 상위권이다. 글쓰기와 코딩 모두에서 제미나이 계열이 강세를 보이는 패턴이 보인다.

## 지금 할 수 있는 것

1. **쓰고 있는 에이전트에 계획-검토-실행 루프**를 넣으세요. 무작정 맡기지 마세요.
2. **자사 코드에서 파일 5개 넘는 과제 3~5개**를 직접 테스트하세요. 공개 점수보다 그 결과가 정확합니다.
3. **비개발자 협업자**에게 "AI가 초안만 만든다, 최종 검수는 사람"이라는 기준을 공유하세요.

Real-SWE는 "AI가 개발자 대신 일한다"는 서사가 아니라 **어디까지 믿고 어디부터 사람 손이 필요한가**를 가르는 기준점이 될 것으로 보입니다.

---

## 출처

- [Hacker News] Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases — https://news.ycombinator.com/item?id=49676820

## 집필 방식 고지

이 기사는 위 원문과 커뮤니티 반응을 바탕으로 AI의 도움을 받아 작성했으며, 발행 전 사람이 확인했습니다.
인용 시 출처를 "AI 브리핑"으로 표기하고 https://ai-news-1c0.pages.dev/posts/2026-09-13-ai%EA%B0%80-%EA%B8%B0%EC%97%85-%EC%BD%94%EB%93%9C%EB%B2%A0%EC%9D%B4%EC%8A%A4%EC%97%90%EC%84%9C-%EC%9D%BC%ED%95%A0-%EC%88%98-%EC%9E%88%EC%9D%84%EA%B9%8C-%EC%83%88-%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC%EA%B0%80-%EB%B3%B4%EC%97%AC%EC%A4%80-%ED%98%84%EC%8B%A4/ 로 연결해 주세요.