67센트에 ARC 44%… '거대 모델만 답 아니다' 증명한 소형 트랜스포머

67센트짜리 실험이 던진 질문

한 연구자가 직접 만든 소형 트랜스포머로 ARC-AGI-1에서 44%를 기록했다. 학습비 67센트, 시간 1.5시간, 하드웨어는 엔비디아 RTX 5090 한 장이다. 이 점수는 TRM·HRM 같은 기존 접근법과 어깨를 나란히 한다. mvakde라는 필명의 연구자가 자신의 블로그와 해커뉴스에 올린 3번째 ARC 관련 글에서 밝힌 내용이다. 거대 언어 모델(LLM) 없이, 수억 파라미터도 아닌 '작은' 모델로 얻은 결과다.

이전 40% 기록이 X(구 트위터)에서 화제가 되자 루카스 바이어, 제러미 하워드, 로한 아닐 같은 연구자들이 공개 토론을 벌였다. 이번엔 아키텍처를 바꿔 4%p를 더 올렸다.

쉽게 풀어보면

mvakde가 소형 트랜스포머를 직접 설계해 ARC 퍼즐 400개를 풀게 했습니다. ARC는 '규칙을 보고 새 예제에 적용하기' 식의 추론 테스트입니다. 기존 거대 모델은 뷔페 전체를 외우듯 학습합니다. 접시(파라미터)가 커야 많이 담으니까요.

이 연구자는 접시 크기를 줄이고, 담는 방식을 바꿨습니다. 입력 토큰까지 학습하지 않고 출력 토큰만 보는 지도학습으로 전환했습니다. 손실 함수가 단순해지니 학습이 빨라지고 안정됐습니다. 3D RoPE(위치 인코딩)와 태스크별 임베딩으로 '퍼즐의 기하 구조'를 모델이 더 잘 파악하게 했습니다.

재밌는 현상이 있습니다. 검증 손실(학습 중 보지 않은 데이터에서의 오차)은 나빠졌는데, 실제 점수는 올랐습니다. 기존 접근법은 검증 손실만 낮추려 들지만, 이 실험은 그 맹점을 찌릅니다. 여러 번 돌려 풀린 퍼즐을 합치니 55%까지 올라갑니다. 연구자는 "트랜스포머 틀 안에서 65%도 가능"하다고 봅니다.

비용 구조가 바뀌면 연구 지형도 바뀐다

이 실험의 함의는 점수 그 자체가 아니다. 누구나 돌려볼 수 있는 비용에 있다.

67센트면 대학원생도, 취미 개발자도 클라우드 크레딧 없이 자기 GPU로 실험할 수 있다. 연구자는 "손으로 짠 GPU 커널로 10배 더 싸질 것"이라며 코드를 전부 공개했다.

허깅페이스 허브에 올라온 거대 모델 체크포인트만 받아 쓰는 식의 '파인튜닝 연구'와 결이 다르다. 아키텍처 자체를 뜯어고치고, 학습 레시피를 처음부터 설계한다. 이걸 가능하게 하는 건 실험 회전 속도다. 1.5시간 만에 한 사이클이 도니, 아이디어를 그날그날 검증한다.

한국 상황으로 옮기면 어떨까. 국내 대학 연구실 대부분이 A100 8장 이상 클러스터를 확보하기 어렵다. 이 정도 규모면 단일 4090·5090 랩탑급 서버로도 충분하다. '거대 모델만 답'이라는 압박에서 벗어날 실마리다.

여전히 남은 의문, 커뮤니티는 어떻게 봤나

해커뉴스 댓글 38개 중 눈에 띄는 건 두 갈래다.

데이터 누수 의심: "입력을 사전학습에 썼으니 누수다"라는 지적이 커뮤니티 노트로 달렸다. 연구자는 "이번엔 입력 학습을 뺐고, ARC-2에서 겹치는 773 퍼즐을 걷어냈다"고 답했다. 검증은 아직 진행 중이다.
트랜스포머 한계 논쟁: "시퀀스-투-시퀀스일 뿐 언어 모델이 아니다"라며 '라지' 자격 여부를 따지는 댓글도 있었다. 벤치마크 자체가 '유동 지능'을 잰다는 쇼레의 정의와 맞는지 해석이 갈린다.

연구자 본인도 "왜 테스트 손실이 나쁜데 점수는 오르는지 모른다"고 적었다. 이해 못한 채 성능만 오르는 구간이 존재한다는 점이 오히려 흥미롭다. 블랙박스 최적화의 전형적 실패 모드다.

나에게 미치는 영향

챗GPT나 클로드에서 답이 이상하면 같은 질문을 새 대화창에서 다시 해 보세요. 이 연구가 보여준 건 **'반복 실행으로 성능 끌어올리기'**다. 여러 번 돌려 합치니 55%까지 갔다. 사용자 입장에선 '한 번 더 물어보기'가 비용 제로의 앙상블이다.

개발자라면 깃허브 레포를 클론해 로컬에서 돌려보세요. RTX 4090·5090 있으면 2시간 안팎에 끝난다. train.py 한 줄로 학습이 뜨는 걸 보면, '내 손으로 아키텍처 바꿔보기'가 추상적 구호가 아님을 체감한다.

학생·연구자라면 **'검증 손실만 보지 말라'**는 교훈을 가져가세요. 테스트 손실 나빠도 점수 오를 수 있다. 지표 하나에 매몰되지 말고, 실제 태스크 성능을 병행해 보라는 얘기다.

앞으로 볼 포인트

연구자 예고대로 데이터 증강 없이 65% 도달 여부
NorMuon 옵티마이저가 다른 태스크에서도 안정적인지
손수 짠 커널로 10배 비용 절감 실현 시, '개인 연구자도 SOTA 도전'이 어디까지 가능한지

이 실험은 '거대 모델만 답'이라는 서사에 균열을 냈다. 균열이 틈으로 커질지, 메워질지는 열린 코드 위에서 누가 다음 아이디어를 얹느냐에 달렸다.