DeepSeek V4.1 Flash 공개… 100만 토큰 문맥에 KV 캐시 4분의 1로 줄였다

552B 백본에 100만 토큰 문맥… MIT 라이선스로 풀렸다

딥시크가 허깅페이스에 DeepSeek-V4.1-Flash를 올렸다. 552B 백본 파라미터에 196B 인그램(Engram) 파라미터를 더한 멀티모달 MoE 모델이다. 문맥 창은 100만 토큰. 프리필 시 8B, 디코드 시 16B 파라미터만 활성화된다. 가장 눈에 띄는 수치는 토큰당 전역 KV 캐시 890바이트다. V4-플래시 대비 4분의 1, V1 대비 437배 작아졌다. 가중치는 MIT 라이선스로, vLLM·SGLang·트랜스포머스 경로로 바로 쓸 수 있다. 퍼블릭 API도 저·중·고 추론 티어로 나뉘어 제공된다.

인코더-디코더 분리로 프리필 연산 절반 줄였다

40개 레이어를 20층 인코더와 20층 디코더로 쪼갰다. YOCO 아이디어를 빌려 디코더가 자체 전역 KV를 계산하지 않는다. 대신 인코더 최종 은닉 상태에서 레이어별 투영 가중치로 전역 KV를 뽑아낸다. 프롬프트 토큰은 인코더에서 멈추니 프리필 연산이 거의 반으로 준다. 슬라이딩 윈도 어텐션(SWA, 128토큰)은 모든 레이어에서 돌아가지만, 디코더 SWA 상태는 최근 128개 토큰만 재생해 복원한다. 연구팀은 이를 '디코더 SWA 바운디드 리플레이'라 부른다.

CSA2로 레이어 축 캐시 압축… 4비트 양자화까지

V4가 CSA와 강압축 어텐션을 섞었다면, V4.1-플래시는 순수 CSA2로 간다. 레이어마다 세 가지 모드(풀·리유즈·리인덱스) 중 하나를 고정 배정한다. 인코더 18개 층은 6개씩 3그룹으로, 압축 비율 2를 쓴다. 디코더 20개 층은 4개씩 5그룹으로, 첫 그룹만 풀+리유즈 3개, 나머지는 리인덱스+리유즈 3개다. 디코더의 계층적 희소 인덱서가 풀 레이어에서 후보 16,384개 위치(2,048블록×8)를 뽑아주면, 뒤쪽 리인덱스 층이 전체 문맥 대신 이 한정된 집합만 채점한다.

메인 KV 캐시는 E2M1(4비트)로 양자화했다. 채널 16개당 E4M3 스케일 하나씩 붙이는 방식인데, 엔비디아 NVFP4에서 전역 스케일을 뺀 형태다. 양자화 인식 학습으로 포스트 트레이닝에 녹여냈고, V4의 FP8 캐시 대비 저장 공간을 거의 절반으로 줄였다.

배포단에서 SWA 캐시는 DRAM 풀에, 전역 캐시는 72시간 보장

SWA KV를 더 이상 SSD에 쓰지 않는다. 호스트 DRAM의 10%를 떼어 분산 풀을 만들고, TTL(생존 시간)을 분 단위로 둔다. 전역 KV는 72시간 수명을 보장한다. 미스 나면 인코더 SWA 바운디드 리플레이로 128개 토큰만 재계산하면 된다. 레이어 수 × 윈도 크기만큼 다시 돌릴 필요가 없다.

그 밖에 싱글패스 mHC로 활성화 메모리 트래픽을 반으로 줄였고, 1번과 14번 레이어에 인그램 조건부 메모리 모듈을 넣었다. DSpark 추측 디코딩은 백본을 얼린 뒤 사후 학습으로 얹었고, 헤드와이즈 무온(Muon) 옵티마이저도 썼다. 단일 토큰 디코드 플롭스는 문맥이 4K에서 1M으로 커져도 25%만 늘어난다.

학습 데이터 45조 토큰… V4-프로 베이스급 성능에 파라미터 3분의 1

사전 학습은 멀티모달 45조 토큰, 텍스트 대 멀티모달 7:1 비율이다. 희소 어텐션을 64K 시퀀스 길이에서 밀집 워밍업 없이 처음부터 학습했고, 34조 토큰 지점에서 100만 토큰으로 늘렸다. 베이스 모델이 V4-프로-베이스와 세계 지식·코딩에서 맞먹으면서, 전체 파라미터는 3분의 1, 활성 파라미터는 4분의 1만 쓴다.

포스트 트레이닝에 새 알고리즘은 없다. 검증 가능 에이전트 태스크 대규모 합성, 클로드 코드·코덱스·오픈코드·파이·미니-SWE·딥시크 하네스 같은 이종 스캐폴드 전반에 걸친 강화학습, 40개 이상 교사 모델에서 온폴리시 증류로 성능을 끌어올렸다.

커뮤니티 "하네스 써보라" vs "GLM 5.3 플래시가 비전 선점"

해커뉴스 스레드에선 딥시크 하네스(DeepSeek Harness)를 설치해보라는 댓글이 여럿 달렸다. "단 몇 센트로 생산성 이득이 크다"는 경험담이다. 반면 "GLM 5.3 플래시가 비전 지원을 먼저 했다"며 비전 쪽 선점 효과를 지적하는 목소리도 있다. 점수가 낮을수록 좋은 지표(캐시 크기 등)를 두고 "낮은 점수가 좋은 게 직관에 어긋난다"는 반응도 보였다. 대역폭 단가 계산을 올린 댓글은 "100Gbps 회선 월 1만 달러면 페타바이트당 0.0003달러"라며 API 요금이 여전히 비싸다고 꼬집었다. 애저 파운드리의 '제한적 접근' 기능으로 안전 가드레일을 끌 수 있다는 정보도 공유됐다.

쉽게 풀어보면

딥시크가 새 모델 V4.1 플래시를 내놨습니다. 핵심은 '긴 문맥을 싸게 돌린다'입니다.

뷔페에 비유해 보세요. 기존 모델은 손님(토큰) 한 명당 접시(KV 캐시)를 크게 내줍니다. 손님이 많아지면 접시가 쌓여 주방(HBM·SSD)이 감당 못 합니다. V4.1 플래시는 접시 크기를 4분의 1로 줄였습니다. 100만 토큰짜리 초장문 문서도 접시 몇 개로 커버됩니다.

비결은 주방 동선 재설계입니다. 인코더가 요리(프리필)를 다 끝내놓고, 디코더는 완성된 접시만 가져다 쓰게 했습니다. 디코더가 따로 요리하지 않으니 연산이 반으로 줍니다. 최근 128개 토큰만 기억하는 단기 메모리(SWA)는 비싼 SSD 대신 빠른 DRAM 선반에 두고, 안 쓰면 금방 치웁니다. 오래 기억할 전역 메모리만 72시간 보관합니다.

캐시를 4비트로 압축한 것도 공간 절약에 한몫합니다. 엔비디아 최신 4비트 포맷(NVFP4)에서 전역 스케일을 빼고, 학습 때부터 이 압축에 익숙해지게 했습니다. 그 결과 V4 대비 저장 공간이 절반으로 줄었습니다.

모델 크기는 552B+196B로 커 보이지만, 실제 추론엔 8B~16B만 씁니다. 40층 중 20층은 인코더, 20층은 디코더로 역할 분담했습니다. 학습 데이터 45조 토큰 중 7은 텍스트, 1은 이미지·비디오 등 멀티모달입니다. 희소 어텐션을 처음부터 64K 길이로 익히고, 나중에 100만까지 늘렸습니다. 밀집 모델로 예열하지 않고 바로 희소로 간 건 이례적입니다.

성능은 비공개 모델 V4-프로-베이스와 비슷하면서 파라미터는 3분의 1, 활성화는 4분의 1입니다. 포스트 트레이닝에 새 기술 대신, 검증 가능한 코딩·에이전트 태스크를 대량 생성해 강화학습으로 돌렸습니다. 40개 이상 교사 모델에서 지식을 증류받았습니다.

나에게 미치는 영향

로컬에서 100만 토큰 돌리려던 사람 — vLLM이나 SGLang으로 오늘 바로 테스트 가능합니다. MIT 라이선스라 상용 서비스에 얹어도 법적 걸림돌이 없습니다. 단, 552B 백본은 8×H100 80GB급이 필요할 겁니다. 양자화된 4비트 버전이 곧 커뮤니티에서 나올 테니 그걸 기다려도 늦지 않습니다.

API 요금 비교하는 개발자 — 퍼블릭 API 티어(저·중·고 추론)가 열려 있습니다. 해커뉴스 댓글대로 대역폭 원가 대비 요금이 여전히 비싸다면, 직접 호스팅하는 쪽이 장기적으로 쌉니다. 하네스(DeepSeek Harness)로 에이전트 워크플로 먼저 돌려보고 결정하세요.

비전 기능 쓰는 기획자 — GLM 5.3 플래시가 비전 지원을 먼저 했습니다. 비전 벤치마크가 급하다면 GLM 쪽도 같이 테스트하세요. V4.1 플래시도 멀티모달 45조 토큰으로 학습했으니 성능 차이는 실사용 태스크에서 직접 비교해야 압니다.

오픈소스 라이선스 신경 쓰는 기업 — MIT 라이선스는 아파치 2.0보다도 제약이 적습니다. 특허 보복 조항도 없습니다. 사내 모델로 파인튜닝해 배포해도 법무팀이 싫어할 조항이 없습니다.

지금 써야 할까, 기다릴까

지금 써볼 만하다

• 100만 토큰 문맥이 당장 필요한 팀(법률·금융·코드베이스 전체 분석)
• 로컬 서빙 인프라(H100 8장 이상)를 이미 갖춘 조직
• MIT 라이선스 오픈웨이트를 상용 제품에 바로 얹으려는 스타트업

기다려도 된다

• 소비자용 GPU(3090/4090)로 돌리려는 개인 — 양자화 버전·오프로드 최적화 나올 때까지
• 비전 태스크가 주력인 경우 — GLM 5.3 플래시와 벤치마크 비교 후 결정
• API 요금만 보고 쓰려는 소규모 팀 — 하네스로 워크플로 검증 후 직접 호스팅 비용과 비교

본지가 12일 전 다룬 오픈소스 거장들이 AI 기여를 거절하는 진짜 이유에서 '검토 비용 폭증'을 짚었습니다. V4.1 플래시처럼 MIT 라이선스로 풀린 대형 모델이 늘면, 기업이 오픈소스 기여를 막는 이유가 '라이선스 불확실성'에서 '모델 검증 비용'으로 더 기울 가능성이 큽니다. 검증 도구(하네스 등)가 같이 나오는 흐름은 그 비용을 낮추려는 시도로 보입니다.

남은 건 실측입니다. 허깅페이스 카드에 올라온 수치만으로는 토큰당 지연시간, 초당 처리량, 실제 메모리 점유율이 안 보입니다. 커뮤니티 벤치마크가 쌓일 때까지 며칠 지켜보는 쪽이 안전합니다.