AI가 '왜' 그렇게 답했는지 수학으로 풀려는 시도

3년 전 논문이 해커뉴스에 다시 오른 이유

앤스로픽(Anthropic)이 2021년 공개한 '트랜스포머 회로를 위한 수학적 프레임워크'가 해커뉴스에 다시 등장했습니다. 점수 39점, 댓글 3개. 화제성만 보면 크지 않습니다. 하지만 이 글이 다시 회자되는 건 '해석 가능성' 논의가 안전성 논쟁의 중심으로 이동했기 때문으로 보입니다.

원문은 GPT-3, 라마다(LaMDA), 코덱스(Codex) 등 대형 언어 모델이 확대되면서 '예상치 못한 유해 행동'을 체계적으로 설명할 방법이 필요하다고 진단합니다. 이를 위해 트랜스포머 내부 연산을 사람이 읽을 수 있는 수준으로 역설계하려는 시도를 '기계적 해석 가능성(mechanistic interpretability)'이라 부릅니다.

쉽게 풀어보면

앤스로픽이 2021년에 내놓은 이 연구는 **'AI가 답을 내놓는 내부 계산 과정을 회로도처럼 그리려는 시도'**입니다. 비유하자면 복잡한 반도체 칩을 분해해 각 트랜지스터가 무슨 역할을 하는지 파악하는 작업과 비슷합니다.

연구팀은 우선 가장 단순한 모델부터 시작했습니다. 레이어 2개, 어텐션 블록만 있는 '장난감 모델'입니다. GPT-3가 96개 레이어에 어텐션과 MLP를 번갈아 쓰는 것과 대조적입니다.

이 소형 모델에서 **'유도 헤드(induction heads)'**라는 특수 어텐션 헤드를 발견했습니다. 이 헤드는 **'앞서 나온 패턴을 복사해 다음 토큰을 예측하는 역할'**을 합니다. 쉽게 말해 **"A가 B 뒤에 왔으니, 이번에도 B 뒤에는 A가 오겠네"**라고 학습하는 회로입니다.

중요한 사실은 이 유도 헤드가 레이어가 2개 이상일 때만 생긴다는 점입니다. 1층 모델에서는 문맥 내 학습(in-context learning)이 일어나지 않습니다. 이 메커니즘이 문맥 학습의 핵심 원리임을 보인 게 이 논문의 핵심 성과입니다.

사실 관계: 무엇을 했고 무엇을 안 했나

• 대상: 어텐션만 있는 1~2층 트랜스포머 (MLP 블록 없음)
• 발견: 유도 헤드라는 알고리즘적 패턴 식별, 문맥 학습 메커니즘 설명
• 한계: "대형 모델 적용은 다음 논문에서 다룬다"며 자체적으로 검증하지 않음
• 후속: 같은 프레임워크와 유도 헤드 개념이 더 큰 모델에서도 **'부분적으로 관련 있음'**을 후속 논문에서 보일 예정이라고만 명시

원문은 인셉션V1(InceptionV1) 비전 모델 역설계와는 접근이 달라야 함을 강조합니다. 아키텍처 세부 사항이 많아 해석 가능한 표현과 계산 효율적 표현이 달라지기 때문입니다.

과거와 다른 점: 디스틸(Distill) 휴지기와 플랫폼 문제

해커뉴스 댓글 중 하나는 디스틸(Distill.pub) 휴지기를 링크했습니다. 이 논문이 원래 실리려던 플랫폼이 2021년 이후 사실상 멈췄다는 뜻입니다. 또 다른 댓글은 "비전 모델 역설계는 얼마나 성공했나"라고 물었습니다.

비전 모델(InceptionV1) 경우 특정 뉴런이 곡선, 원, 개 털 등을 감지함을 시각적으로 확인 가능했습니다. 하지만 언어 모델은 내부 표현이 기호적이고 분산돼 있어 눈으로 확인하기 어렵습니다. 이 차이가 3년이 지난 지금도 '비교 가능한 프로젝트가 없다'는 원문 진단이 유효한 이유입니다.

한국 기업에 미치는 거리

네이버 하이퍼클로바X, 카카오 코GPT, LG 엑사원 등 국내 대형 언어 모델도 96층 안팎 구조를 씁니다. 이 논문이 다룬 2층 모델과는 거리가 멉니다.

당장 쓸 수 있는 도구는 아닙니다. 하지만 '모델이 왜 틀렸는지'를 층별·헤드별로 추적할 수 있는 이론적 기반을 닦은 점은 의미 있습니다. 향후 한국 기업이 자체 모델 디버깅 도구를 만들 때 참고할 프레임워크가 될 가능성이 큽니다.

남은 쟁점 3가지

• 확장성 검증: 2층→96층 일반화가 어디까지 되는지 후속 논문·독립 재현 필요
• MLP 블록 부재: 실제 모델 핵심인 MLP(피드포워드) 블록이 빠져 있어 완전성 불충분
• 도구화 시기: 연구용 시각화에서 운영 모니터링 도구로 가려면 수년 단위 투자 필요

나에게 미치는 영향

일반 사용자라면 챗GPT나 클로드에서 답이 이상할 때 **"새 대화창에서 다시 물어보라"**는 기존 조언이 여전히 유효합니다. 모델 내부 회로를 우리가 고칠 수 없기 때문입니다.

기업 실무자라면 도입하려는 LLM 벤더에게 **"해석 가능성 로드맵이 있는가"**를 물어볼 시점입니다. 유도 헤드 같은 메커니즘을 모니터링해 환각(hallucination) 패턴을 조기 탐지하는 기능이 향후 제품 차별화 요소가 될 수 있습니다.

개발자라면 앤스로픽의 트랜스포머 회로 시리즈 논문들을 '교과서'처럼 읽어두는 것이 도움이 됩니다. 특히 어텐션 헤드 단위 분석 기법은 향후 오픈소스 해석 도구(예: 투렌스, 뉴런뷰)에 그대로 녹아들 가능성이 높습니다.

이 연구는 **'AI 블랙박스를 여는 열쇠'**를 만든 게 아니라 **'열쇠를 깎을 틀'**을 만든 것에 가깝습니다. 실제 문이 열리려면 아직 여러 번의 시행착오가 필요합니다.