퀸 3.8 플래시 넥스트 공개… 125B MoE가 6B만 깨워 쓴다

172GB 체크포인트, 로컬 실행 문턱은 여전하다

알리바바 퀸 팀이 Qwen3.8-Flash-Next를 정식 공개했다. 125B 백본에 51B N-그램 임베딩, 4B 멀티 토큰 예측 모듈을 합쳐 디스크 상 180B 규모다. 다만 토큰당 활성 파라미터는 6B에 불과하다. Mixture-of-Experts(MoE, 전문가 혼합) 구조로 연산만 골라 쓰는 방식이다.

FP8 양자화 체크포인트 크기는 172.78 GiB, BF16은 335.28 GiB다. vLLM 레시피 기준 TP2(텐서 병렬 2장)가 최소 검증 구성이고, TP4를 권장한다. 8×H200 노드에서 TEP8로 돌려야 제 성능이 나온다. 일반 워크스테이션이나 맥 스튜디오급에서는 모델 로딩조차 버겁다.

퀸4 아키텍처를 먼저 보여주는 '프리뷰' 성격

이 모델은 퀸3-넥스트가 퀸3.5를 예고했듯, 퀸4의 기반 아키텍처를 미리 까보는 역할이다. 네 가지 기술 변화가 핵심이다.

• 게이티드 델타넷과 퀸 스파스 어텐션 하이브리드
• 게이티드 잔차 연결
• N-그램 임베딩(51B)
• Muon 옵티마이저

퀸 팀 발표로는 학습 비용이 퀸3.7-플러스의 약 1/9 수준이다. 서빙 단계에서는 QSA 커널로 프리필 최대 7.6배, 디코드 4.9배 가속을 주장하나, SGLang 쿡북과 vLLM 레시피는 각각 10.2배, 6.6배를 인용한다. 벤더 발표 수치 범위로만 봐야 한다.

코딩·에이전트 벤치마크는 강세, 추론 최상위권엔 아직 못 미친다

주요 지표를 보면 코딩과 에이전트 작업에서 두각을 보인다.

멀티모달 쪽도 AndroidWorld 84.5, MathVision 95.7(코드 인터프리터 포함) 등 준수하다.

하지만 프론티어 추론 지표에서는 격차가 드러난다. HLE에서 클로드 오퍼스 4.6(맥스) 40.0 대 퀸 35.9, NL2Repo-Bench에서 딥시크-V4-플래시-0731 54.2 대 퀸 48.1이다. 최상위 추론 모델을 따라잡지는 못했다는 평가다.

컨텍스트 26만 토큰, YaRN으로 100만까지 확장

네이티브 컨텍스트는 262,144 토큰. YaRN(RoPE 스케일링)으로 100만 토큰까지 늘릴 수 있다. 장문 코드베이스나 긴 문서 처리에 유리한 구성이다.

서빙 프레임워크는 vLLM, SGLang, TokenSpeed, 트랜스포머즈 서브, llama.cpp(GGUF 양자화)까지 폭넓게 지원한다. 파인튜닝은 Unsloth, Swift, LLaMA-Factory로 가능하다. 이미 QwenWork 'Standard' 모드와 Qwen Code에 탑재돼 서비스 중이다.

생각하기 모드가 기본 활성화되며, reasoning_effort를 xhigh·medium·low로 조절한다. 퀸 팀 권장 설정은 사고 모드에서 temperature 1.0·top_p 0.95, 인스트럭트 모드에서 0.7·0.80이다.

쉽게 풀어보면

퀸 3.8 플래시 넥스트는 '몸집은 거대하지만 뇌는 가볍게 쓰는' 모델이다.
전체 파라미터 180B 중 실제 연산에 참여하는 건 6B뿐이다. 마치 도서관 전체(180B)를 두고 매번 필요한 책장 6B만 꺼내 읽는 사서 같은 구조다. 덕분에 학습 비용을 9분의 1로 줄였다.

하지만 책장 전체를 내 방에 들여놓으려면 172GB 공간이 필요하다. 일반 노트북이나 맥북 프로로는 어림도 없다. 엔비디아 H200 8장짜리 서버급이어야 제 성능이 나온다. 레딧 메가스레드에도 M5 울트라 96GB 대 맥스 128GB 비교 글이 떴지만 댓글은 0개였다. 커뮤니티 논쟁이라 부르기엔 이르다.

성능은 코딩과 도구 사용(에이전트) 작업에 강하다. 라이브코드벤치 91.9, 스위벤치 멀티링구얼 81.0은 실무 코딩 보조로 쓸 만하다는 신호다. 반면 복잡한 추론이 필요한 HLE 같은 테스트에서는 클로드 오퍼스 4.6에 뒤진다. "생각하기" 모드가 기본인데, 이 모드가 추론 격차를 얼마나 메워줄지는 독립 검증이 필요하다.

퀸4의 예고편이라는 점이 더 중요하다. 지금 모델 자체가 목적이 아니라, 퀸4가 이 아키텍처를 어떻게 다듬을지 가늠하는 자료다. 퀸4 정식 출시 일정은 아직 공개되지 않았습니다.

나에게 미치는 영향

일반 사용자·직장인이 당장 할 수 있는 일

• QwenWork 'Standard' 모드나 Qwen Code를 쓰면 별도 설치 없이 이 모델을 체험 가능하다. 클라우드에서 돌리기 때문에 내 하드웨어 사양과 무관하다.
• 챗GPT·클로드·제미나이에서 코딩 답변이 아쉬울 때, Qwen Code로 같은 프롬프트를 던져 비교해 보라. 코드 생성·수정 품질 차이를 바로 느낄 수 있다.
• 로컬 실행을 원한다면 GGUF 양자화 버전이 llama.cpp로 뜨길 기다려야 한다. 본지가 확인한 바에 따르면 4비트 양자화 크기와 최소 메모리 사양은 아직 공개되지 않았습니다.

기다려도 되는 경우

• 개인용 GPU 1~2장으로 로컬에서 돌리고 싶다면 아직 아니다. 체크포인트 크기가 장벽이다.
• 최상위 추론 능력(수학 올림피아드급 증명, 복잡한 멀티홉 추론)이 필요하면 클로드 오퍼스 4.6이나 o1 계열이 여전히 앞선다.

개발자·연구자라면

• vLLM·SGLang 레시피가 이미 올라와 있으니 8×H100/H200 클러스터 접근 권한이 있다면 지금 테스트해 볼 만하다.
• N-그램 임베딩과 멀티 토큰 예측 모듈이 추론 속도에 미치는 영향을 직접 측정해 보면 퀸4 대비 인사이트를 얻을 수 있다.

남은 쟁점

• 독립 벤치마크 검증이 필요하다. 벤더 발표 속도 향상폭(4.9~10.2배)이 실제 서빙에서 얼마나 재현되는지.
• GGUF 양자화 품질이 어느 수준까지 나오는지. 4비트·3비트에서 사고 모드 성능 저하 폭이 관건이다.
• 퀸4 정식 출시 일정과 차이점. 이 모델이 "프리뷰"라면 정식 버전에서 무엇이 바뀔지(파라미터 수, 전문가 수, 컨텍스트 길이 등)가 다음 관심사다.

자료: MarkTechPost 보도, 퀸 팀 GitHub·HF 모델 카드, r/LocalLLaMA 메가스레드 토론