코그니션 SWE-2 공개, 코딩 에이전트 가격-성능 새 기준 제시

코그니션이 SWE-2를 내놨다. 가격 대비 성능 곡선을 밀어버렸다.

50.0%라는 수치만 보면 파블 5.1과 1점 차이다. 그런데 비용은 64% 싸다. GPT-6 아스트라와도 몇 점 차이 안 나면서 비용은 4분의 1이다. 발표문은 이 숫자들을 나열하지만, 현장 개발자가 주목해야 할 건 따로 있다. 탐색 단계 중간값이 48에서 18로 줄었다. 같은 일을 하는데 58% 적은 턴으로, 81% 적은 비용으로 끝낸다.

SWE-2가 다른 이유: 한 번 학습으로 모든 노력 레벨을 잡았다

기존 방식은 노력 레벨별로 별도 전문가 모델을 키운 뒤 증류했다. 키미 K3가 그랬다. 코그니션은 달랐다. 단일 강화학습 실행에서 저·중·고 노력 레벨을 동시에 훈련시켰다. 비용 페널티를 보상 함수에 넣고, 파레토 곡선(성능과 비용의 최적 경계) 기울기에 맞춰 람다 파라미터(비중 조절 수치)를 튜닝했다. 수식은 복잡해 보이지만 결론은 단순하다. "똑똑해지는 동시에 돈도 아끼게 학습시켰다."

키미 K3 위에서 5-6점 더 뽑아냈다

베이스는 키미 K3다. 2.8조 파라미터(모델의 두뇌 용량에 해당하는 수치), 이미 에이전트 코딩용 강화학습을 거친 모델이다. 여기에 코그니션의 후처리 강화학습이 5-6점을 더 얹었다. SWE-1.7 인프라를 재사용했으니 훈련 비용 절감도 컸을 것이다. 베이스 모델이 이미 강했는데, 거기서 또 의미 있는 향상을 냈다는 게 핵심이다.

데빈 데스크톱·CLI에서 오늘부터 쓴다

웹과 퓨전도 순차 적용된다. 무료 티어 여부는 발표문에 없다. 기존 데빈 구독자면 별도 비용 없이 바로 쓸 수 있다. 구독 중이라면 지금 터미널에서 모델 옵션만 바꿔 테스트해보면 된다.

쉽게 풀어보면

코그니션이 만든 코딩 에이전트 '데빈'의 두뇌가 SWE-2로 교체됐다. 비유하자면, 신입 개발자가 코드베이스 전체를 다 읽고 나서야 첫 줄을 고치던 습관(기존 SWE-1.7)을, 경력 3년 차처럼 '여기가 문제겠네' 찍고 바로 고치는 수준으로 끌어올렸다는 거다.

구체적으로 보자. 100개 과제 벤치마크에서 SWE-2 미디엄은 첫 실제 수정을 18번째 단계에 시작했다. SWE-1.7은 48단계였다. 58% 적은 턴으로, 81% 적은 비용으로 더 높은 점수를 냈다. '과탐'이 줄고 '실행'이 빨라진 것이다.

노력 레벨도 실용적으로 나뉜다. 미디엄은 단순·중간 과제에 바로 투입. 하이·맥스는 복잡한 과제에서 계획·탐색·검증에 시간을 더 쓴다. 사용자는 과제 난이도에 맞춰 레벨을 고르면 된다.

가격 대비 성능 곡선(파레토 프론티어)을 밀었다는 말이 추상이 아닌 이유다. 같은 돈으로 더 좋은 결과를 내거나, 같은 결과를 더 싸게 낸다. 기업 입장에선 데빈 시트당 비용을 낮추거나, 더 어려운 과제를 같은 예산으로 돌릴 수 있다.

나에게 미치는 영향

• 데빈 구독 중이라면: 오늘 바로 CLI에서 --model swe-2로 전환 테스트. 단순 버그 수정·리팩토링 과제부터 맡겨보고 턴 수·비용 비교해보라.
• 데빈 안 쓰는 개발자: 챗GPT·클로드·제미나이로 코딩할 때 '탐색 오래 하기' 패턴 보이면 새 대화창에서 "핵심 파일만 보고 바로 수정해줘"로 프롬프트 바꿔 테스트. 같은 원리가 먹힌다.
• 기술 리더·CTO: 에이전트 비용 산정할 때 '모델 단가'만 보지 말고 '과제당 총 턴 수·비용'으로 재계산하라. SWE-2류 모델은 턴 당 비용보다 총 완료 비용이 더 싸다. 국내 구독 요금은 달러 기준이라 환율 변수가 크다. 클라우드 크레딧 연계 가능성도 따져볼 만하다.
• 오픈소스 기다리는 팀: 키미 K3 베이스가 중국 모델이란 점, 코그니션 후처리가 닫혀 있단 점 확인. 당분간 데빈 생태계 밖에서 동급 성능 쓰긴 어렵다.

벤치마크 숫자만 보면 안 되는 이유

해커뉴스 댓글에선 "터미널 벤치 4가 아니면 의미 없다"는 지적이 나왔다. **"프론티어코드·딥스웨는 이제 쓸모없는 벤치마크(useless benchmarks now)"**라는 원문 비판도 있다. 제미나이 3.8이 이 벤치마크들을 압도했는데도 발표문에 안 실린 것도 같은 맥락이다. 실제 레거시 마이그레이션·복잡한 버그 재현·테스트 없는 리팩토링 같은 현장 과제에서 SWE-2가 얼마나 버티는지는 아직 검증되지 않았다.

남은 건 '실제 과제에서의 검증'이다

발표문은 내부 테스트 궤적 몇 개를 보여준다. 하지만 외부 독립 평가·장기 운영 데이터는 없다. 데빈 사용자들이 앞으로 몇 주간 쌓을 실전 데이터가 진짜 평가가 될 것이다. 그때까지는 "비용 대비 성능 곡선을 밀었다"는 주장으로 두고, 내 과제에 적용해보며 검증하는 수밖에 없다.

이 모델을 지금 써야 할 사람: 데빈 구독 중이고, 에이전트 턴 수·비용이 병목인 팀.
아직 기다려도 되는 사람: 챗GPT·클로드·제미나이 API로 직접 파이프라인 짜서 쓰는 팀. 벤치마크 수치보다 내 코드베이스에서의 체감 속도가 중요하니까.