Qwen 3.8, GPT-5.5 Pro 추론 패턴과 18%p 일치… "학습 데이터 겹칠 가능성"

Qwen 3.8, GPT-5.5 Pro 프리필에 18%p 뛰어올랐다

연구자 wsxiaoys가 깃허브 지스트에 올린 후속 실험 결과다.
앞서 오픈 모델들에 추론 프리필(prefill)을 주입해 겹치는 정도를 측정했는데, 이번엔 교사 모델을 GPT-5.5 Pro로 바꿨다.

45개 문제(STEM·비STEM·퍼즐 각 15개)에 대해 타깃 모델이 처음 100 토큰 안에 교사의 가시 답안을 얼마나 포함하는지 유니그램·바이그램·트라이그램 리콜 평균으로 채점했다.

Qwen 3.8의 변화가 뚜렷하다.
프리필 없이 16.79%였던 겹침률이 GPT-5.5 Pro 프리필을 주자 34.97%로 올랐다. +18.18%포인트다.

같은 연구에서 Opus 4.8을 교사로 썼을 땐 Qwen이 "거의 움직이지 않았다"고 적혀 있다.
교사만 바꿨을 뿐인데 반응 폭이 이만큼 벌어진다.

Kimi K3는 프리필 효과가 작았다

반면 Kimi K3는 프리필 없이도 31.11%로 가장 높았고, 프리필을 줘도 +4.54%포인트 오르는 데 그쳤다.
이미 GPT-5.5 Pro와 추론 궤적이 비슷하다는 뜻으로 읽힌다.

연구자는 "Qwen이 GPT-5.5 Pro나 그와 가까운 GPT 계열에서 학습했을 가능성"을 짚는다.
직접 증류(distillation)했는지, 단순히 유사한 데이터 분포를 봤는지는 실험만으로 가려지지 않는다.

앞서 본지 보도와 연결해 보면

본지가 14일 전 다룬 퀸 3.8 플래시 넥스트 공개… 125B MoE가 6B만 깨워 쓴다에서 이 모델은 125B 파라미터 중 6B만 활성화하는 MoE 구조로 소개됐다.
12일 전 기사에선 라마씨피유(llama.cpp) 합류로 듀얼 RTX 3060에서도 실행 가능함이 확인됐다.

아키텍처와 실행 환경은 이미 검증됐다.
이번 실험은 추론 스타일이 어디서 왔는지를 새롭게 묻는다.

커뮤니티 반응: "가중치만 있으면 된다"

해커뉴스에서 눈에 띄는 반응은 이렇다.

"중국 모델이 미국 SOTA의 99%, 95%, 90%냐는 중요하지 않다. 가중치를 갖고 있고 셀프호스팅 가능한 중국 모델만 있으면 된다."

또 다른 댓글은 평가 환경 차이를 지적한다.

"코딩 하네스(harness)엔 챗 UI와 다른 시스템 프롬프트가 들어간다. 거기서 케바인 맨(speech) 현상이 사라진다."

원문 댓글은 "caveman speech occurs in chat ui, not in coding harness"라고 적혔다.
즉 챗 UI에서만 거친 말투가 나온다. 코딩 하네스에선 사라진다는 뜻이다.
실험 조건(코딩 하네스 vs 챗 UI)과 시스템 프롬프트 차이가 결과에 영향을 줬을 수 있다.
해커뉴스 다른 댓글도 "coding harness which probably has a different system prompt"라고 같은 지적을 했다.

쉽게 풀어보면

Qwen 3.8은 알리바바가 공개한 대형 언어 모델이다.
이번 실험은 **'선생님 답안을 살짝 보여주고 학생이 얼마나 비슷하게 푸는지'**를 봤다.

선생님을 GPT-5.5 Pro(오픈AI 최신 추정 모델)로 세우자, Qwen의 답안 앞부분이 선생님과 18%포인트 더 겹쳤다.
그런데 선생님을 Opus 4.8(앤트로픽 모델)로 세웠을 땐 거의 안 겹쳤다.

같은 학생(Qwen)인데 선생님만 바꿔도 반응이 완전히 다르다.
이건 Qwen이 GPT 계열 답안 패턴을 이미 학습 때 익혔을 가능성을 시사한다.

비유하자면, 어떤 학생이 특정 학원 스타일 문제를 풀 때만 갑자기 실력이 뛰는 꼴이다.
그 학원 교재를 미리 봤거나, 그 학원 출신 강사에게 배웠다는 의심이 드는 상황이다.

단, 이 실험은 답안 앞 100토큰의 단어 겹침만 본다.
논리 구조나 최종 정답 정확도까지 같다는 건 아니다.
"학습 데이터에 GPT 출력이 섞여 있었다"는 가설일 뿐, 직접 증거는 아니다.

나에게 미치는 영향

로컬 LLM 사용자라면
Qwen 3.8 플래시 넥스트는 이미 듀얼 3060(24GB VRAM)에서 돌아간다.
GPT-5.5 Pro급 추론 스타일을 로컬에서 맛보려면 지금이 진입 시점이다.

모델 선택 고민 중이라면
Kimi K3는 프리필 없이도 GPT-5.5 Pro와 추론 궤적이 가장 가깝다.
"별도 프리필 없이 GPT 스타일 추론을 쓰고 싶다"면 Kimi K3가 대안이 될 수 있다.

데이터 출처가 중요한 기업·기관이라면
이 실험만으로 "Qwen이 GPT 데이터를 썼다"고 단정하긴 이르다.
하지만 라이선스·컴플라이언스 검토 시 이 실험 결과를 참고 자료로 넣는 건 합리적이다.

오늘 바로 해볼 수 있는 것
라마씨피유(llama.cpp) 최신 버전을 깔고 Qwen 3.8 플래시 넥스트 GGUF를 내려받아 돌리면 된다.
프리필 없이도, 시스템 프롬프트에 "step by step"만 넣어도 추론 깊이가 달라지는지 체감해 보라.

남은 쟁점

직접 증류 여부 — 프리필 반응만으론 증류(distillation)인지, 유사 데이터 학습인지 구분 안 된다.
평가 세트 한계 — 45문제, 100토큰 앞부분만 본다. 전체 추론 품질과는 거리가 있을 수 있다.
GPT-5.5 Pro 실체 — 오픈AI 공식 발표명이 아니라 연구자가 실험용으로 붙인 라벨이다.

자료가 말해주는 건 **"Qwen이 GPT 계열 추론 패턴에 강하게 반응한다"**는 사실 하나다.
그게 학습 데이터 탓인지, 아키텍처 유사성 탓인지는 아직 열려 있다.
로컬 모델을 쓰는 입장에선 **'어디서 왔든 지금 잘 쓰이면 그만'**이라는 해커뉴스 댓글이 가장 현실적 답일지도 모른다.