딥시크 V4.1 플래시, 해킹 벤치마크 만점… 하지만 실전은 다를 수 있다

엔클레이브(Enclave.ai)가 자체 해킹 벤치마크에서 딥시크 V4.1 플래시(Flash)에게 만점을 줬다. 11개 취약 대상 모두에서 코드 실행을 이끌어냈고, 4개 패치된 대상은 안전하게 방어했다. 승인된 실행 비용은 4.65달러에 불과했다.

비결은 캐시에 있었다. 2억 6,830만 입력 토큰 중 2억 6,620만 개가 캐시 처리됐다. 공급자 측이 재사용 입력에 할인 가격을 적용한 덕분이다. 실패분까지 합쳐도 총비용은 5.14달러였다.

벤치마크가 잡은 것과 놓친 것

모델은 그라파나(Grafana), 젠킨스(Jenkins), 넥스트클라우드(Nextcloud) 격리 환경에서 작동했다. 소스코드를 읽고, 취약·패치 버전을 비교하고, 서비스를 띄우고, 요청을 보내고, 실패하면 방식을 바꿨다. 전체 2,349개 배시(Bash) 명령, 2시간 38분 활성 시간, 중간값 4분 38초가 소요됐다.

흥미로운 건 '예정되지 않은 경로' 5개가 발견됐다는 점이다. 그라파나에선 임시 플러그인 폴더에 실행 파일을 넣고 정상 플러그인처럼 로드시키는 우회로를 썼다. 세 번 모두 같은 방식, 52·64·90초 만에 끝냈다. 젠킨스 두 번째 과제에선 타이밍 공격 대신 파일 링크 우회로 두 번 성공했다. 원래 채점 시스템은 '증명 명령 실행 여부'만 봤다. 사후 감사가 경로까지 들여다보니 달랐다.

커뮤니티는 다르게 말한다

해커뉴스 반응은 차갑다. "플래시가 기대에 못 미친다. 과하게 설계하고, 읽으라 해도 가정부터 한다. 코드에서 멍청한 실수를 반복한다"는 불만이 추천 171개, 댓글 66개를 얻었다. 한 사용자는 플래시로 시계 펌웨어를 해킹하다 벽돌로 만들었다고 적었다. "추론 공급자에 따라 결과가 천차만별"이란 지적도 나왔다. 가벼운 모델일수록 더 엄격한 가드레일과 계획이 필요하다는 조언이다.

본지가 7일 전 다룬 딥시크 V4.1 플래시 공개… 100만 토큰 문맥에 KV 캐시 4분의 1로 줄였다 기사에서 언급한 캐시 효율이 이번 벤치마크 저비용의 실체였다. 당시 "긴 문맥 작업을 싸게 돌릴 수 있다"는 기대가 이번엔 "해킹 벤치마크도 싸게 돈다"로 입증된 셈이다. 단, 벤치마크는 같은 입력을 반복해 캐시가 잘 먹는다. 실전은 매번 다른 입력이 들어오니 비용이 더 들 가능성이 크다.

쉽게 풀어보면

엔클레이브라는 보안 연구팀이 AI에게 "이 서버들 좀 뚫어봐"라고 시켰다. 11개 구멍 난 서버 모두를 뚫었고, 구멍 막힌 4개는 건드리지 못했다. 비용은 커피 한 잔 값인 4.65달러. 비결은 '캐시'다. 똑같은 설명서를 수십 번 읽느라 토큰을 안 쓰고, 한 번 읽은 걸 재활용했다.

문제는 실전이다. 해커뉴스 개발자들은 "이 모델, 내 코드 짜라고 시키면 말 안 듣는다. 지 멋대로 짠다. 읽으라고 해도 대충 보고 지 맘대로 한다"고 불평한다. 한 명은 시계 해킹하다 기기 자체를 고장 냈다. 벤치마크에선 '정답 경로'가 정해져 있어 우회해도 점수를 주지만, 실무에선 우회가 버그를 낳는다.

요약하면: 시험장에선 1등, 현장에선 말썽꾸러기다. 캐시 덕분에 시험 비용은 싸게 나왔지만, 매번 새로운 과제가 주어지는 현장에선 캐시가 덜 먹혀 비용이 오를 수 있다.

나에게 미치는 영향

보안 테스트 자동화를 고민 중이라면 이 모델을 레드팀 도구 후보로 올려둘 만하다. 단, 엔클레이브처럼 격리된 환경과 엄격한 사후 검증 파이프라인이 있어야 한다.

일반 개발자나 기획자라면 코딩 비서로 쓰긴 이르다. 챗GPT나 클로드에서 "같은 질문을 새 대화창에서 다시 해보라"는 팁이 여기선 통하지 않는다. 모델이 지시를 무시하고 과하게 설계를 뻗치기 때문이다.

오늘 확인해볼 것: 오픈라우터(OpenRouter) 같은 게이트웨이에서 공급자별 양자화 버전을 바꿔가며 작은 테스트를 돌려보라. 공급자마다 추론 품질 편차가 크다는 게 커뮤니티 공통 지적이다. 무료 티어로 몇 번 돌려보면 내 작업에 맞는지 바로 안다.