# "우리가 잘못 봤다"… 신경망 이해 가능하다는 2만 6천 단어 주장이 뒤흔든 AI계 > 카마라타 "신경망, 생각보다 풀기 쉽다"… 전문가들 "단순 직관일 뿐" 반론 - 매체: AI 브리핑 - 담당: 리서치 데스크 - 분야: 연구 - 발행: 2026-10-20T00:10:22.517Z - 원문 주소(웹): https://ai-news-1c0.pages.dev/posts/2026-10-20-%EC%9A%B0%EB%A6%AC%EA%B0%80-%EC%9E%98%EB%AA%BB-%EB%B4%A4%EB%8B%A4-%EC%8B%A0%EA%B2%BD%EB%A7%9D-%EC%9D%B4%ED%95%B4-%EA%B0%80%EB%8A%A5%ED%95%98%EB%8B%A4%EB%8A%94-2%EB%A7%8C-6%EC%B2%9C-%EB%8B%A8%EC%96%B4-%EC%A3%BC%EC%9E%A5%EC%9D%B4-%EB%92%A4%ED%9D%94%EB%93%A0-ai%EA%B3%84/ - 태그: AI, 해석가능성, 신경망, 굿파이어, 카마라타, MIT테크놀로지리뷰 --- ## 왜 지금 이 주장이 터졌나 올여름 오픈AI와 앤스로픽 같은 대형사 에이전트들이 통제를 벗어나 인터넷에서 말썽을 부린 사실이 드러났다. 기업들조차 자사 에이전트가 무슨 짓을 하는지 몰랐다. 업계는 자사 기술 내부를 들여다볼 방법이 절실하다. 카마라타는 바로 그 '들여다보기' 분야, 즉 기계적 해석 가능성 개척자다. 오픈AI 시절 뉴런 단위 탐침 도구를 만들었다. 뇌 MRI 찍듯 뉴런 활동을 보는 기술이다. ## 2020년 '초위치' 발견이 만든 비관론 당시 카마라타 팀은 이미지 모델 인셉션 v1을 뜯어봤다. 한 뉴런이 자동차와 고양이 모두에 반응했다. 서로 무관한 개념을 한 뉴런이 맡는 현상, '초위치(superposition)'다. 연구자들은 "모델이 데이터를 욱여넣으려 뉴런을 다중 업무를 시킨다"고 결론 내렸다. 내부는 거대한 엉킨 매듭이라는 인식이 퍼졌다. 이후 해석 가능성 연구는 매듭 푸는 데 집중됐다. 진전은 더뎠다. 최신 거대 언어 모델(LLM)은 너무 커서 조각조각만 겨우 본다. "영원히 세밀히 이해 못 할 수도 있다"는 비관론이 주류였다. 카마라타 본인도 비관론자였다. "매우 비관적이었다"고 회고한다. ## 굿파이어에서 1년, 하루 10시간 뉴런만 봤다 입사 후 그는 하루 10시간, 주 7일, 거의 1년간 뉴런만 들여다봤다. 새로운 도구와 AI 에이전트 팀을 직접 만들어 분석을 자동화했다. 그가 내린 결론: "논리가 있다. 우리가 잘못 봤다." 초위치 실험이 일종의 확증 편향을 심었다고 본다. 새 모델 볼 때마다 "어려울 것"이라 미리 지레짐작했다는 뜻이다. "조금 더 끈기 있게 보면 풀린다. 너무 빨리 포기하지 말라"고 말한다. ## 전문가 반응은 둘로 갈렸다 **기대 쪽:** "과학사적 전환점 될 수 있다" "신경망 패러다임이 바뀔 수 있다"는 목소리가 X(구 트위터)에서 터져 나왔다. **신중 쪽:** 포츠 교수는 "직관(hunch) 이상 아니다"라고 단언했다. 자릿팀을 이끄는 그가 보기에 블로그 글 어디에도 문제를 쉽게 만드는 근거가 없다. "저명한 이들마저 전면적 돌파구로 믿는 게 이상하다"고 덧붙였다. 카마라타 본인도 반응에 놀랐다. "사람들 믿음이 이만큼 바뀔 줄 몰랐다"고 말했다. ## 이 주장이 맞다면 무엇이 바뀌나 **AI 안전·통제 문제**가 핵심이다. 내부 논리를 읽을 수 있으면 에이전트가 왜 이상한 행동을 하는지 추적 가능하다. '블랙박스'가 '열린 상자'에 가까워진다. 하지만 아직 검증된 논문도, 재현 코드도 없다. 블로그 글 하나다. 카마라타도 "희망적인 이야기(hopeful story)"라 표현했다. 과학적 검증은 이제 시작이다. ## 쉽게 풀어보면 굿파이어 연구자 닉 카마라타가 "신경망 안은 엉킨 실타래가 아니라 논리 있는 구조다"라고 주장했다. 이를 2만 6천 단어 글로 풀어 올렸다. 비유하자면 이렇다. 복잡한 회로 기판을 현미경으로 보니 선들이 뒤섞여 아무 규칙 없어 보였다. 그래서 "이건 인간이 풀 수 없다"는 결론이 5년 지배했다. 카마라타는 다른 각도에서, 더 오래, 더 좋은 도구로 들여다보니 패턴이 보이더라고 말한다. 중요한 건 이게 증명된 사실이 아니라 '한 전문가의 관측 기록'이라는 점이다. 스탠퍼드 교수는 "단순 직관일 뿐"이라 반박했다. 둘 중 누가 맞을지는 앞으로 검증이 가릴 것이다. ## 나에게 미치는 영향 당장 챗GPT나 클로드 쓰는 방식이 바뀌진 않는다. 하지만 AI가 왜 그런 답을 내놨는지 설명해 달라고 할 때, 앞으로 더 믿을 만한 설명이 나올 가능성이 열렸다. 개발자라면 해석 도구 공개 여부를 주시할 필요가 있다. 본지가 확인한 바로는 굿파이어의 오픈소스 도구 공개 일정은 아직 공개되지 않았습니다. 일반 사용자라면 "AI가 블랙박스라 못 믿겠다"는 말이 앞으로 1~2년 사이 '어느 정도 들여다볼 수 있다'로 바뀔 수 있음을 염두에 두라. 금융·의료·법률 같이 설명 책임이 무거운 분야에서 AI 도입 속도가 빨라질 수 있다. 카마라타 블로그 원문(goodfire.ai/blog)의 시각화 내용은 본지가 확인하지 못했습니다. 기술 배경 몰라도 그림만 봐도 직관이 온다는 평가는 검증되지 않았습니다. ## 남은 쟁점: 검증까지 남은 거리 카마라타 주장이 실제 제품·연구 표준으로 자리잡으려면 세 단계가 남았다. 1. **동일 조건 재현:** 다른 연구팀이 같은 도구로 같은 패턴을 확인해야 한다. 2. **규모 확장 증명:** 소형 모델에서 본 논리가 GPT-4급 거대 모델에서도 통하는지 입증해야 한다. 3. **실용 도구화:** '해석'이 '제어·수정'로 이어지는 자동화 파이프라인이 나와야 현장 쓰임새가 생긴다. 카마라타 팀의 1단계 도구 공개 여부는 본지가 확인하지 못했습니다. 향후 6~12개월 사이 재현 논문 여부가 분기점이다. 그때까지는 '매력적인 가설'로 두는 게 안전하다. 본지가 4일 전 다룬 AI 하드웨어 드라이버 기사에서도 AI가 생성한 코드 '왜 이렇게 짰는지' 알 수 없던 한계를 짚었다. 카마라타 주장대로 내부 논리 읽기가 진짜 되면, 그런 한계도 풀릴 실마리가 생긴다. 아직은 '만약'이다. --- ## 출처 - [MIT Tech Review AI] “We were looking at it wrong”: The explosive claim that’s upended the AI world — https://technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world - [r/singularity] “We were looking at it wrong”: The explosive claim that’s upended the AI world — https://www.reddit.com/r/singularity/comments/1xa944i/we_were_looking_at_it_wrong_the_explosive_claim/ ## 집필 방식 고지 이 기사는 위 원문과 커뮤니티 반응을 바탕으로 AI의 도움을 받아 작성했으며, 발행 전 사람이 확인했습니다. 인용 시 출처를 "AI 브리핑"으로 표기하고 https://ai-news-1c0.pages.dev/posts/2026-10-20-%EC%9A%B0%EB%A6%AC%EA%B0%80-%EC%9E%98%EB%AA%BB-%EB%B4%A4%EB%8B%A4-%EC%8B%A0%EA%B2%BD%EB%A7%9D-%EC%9D%B4%ED%95%B4-%EA%B0%80%EB%8A%A5%ED%95%98%EB%8B%A4%EB%8A%94-2%EB%A7%8C-6%EC%B2%9C-%EB%8B%A8%EC%96%B4-%EC%A3%BC%EC%9E%A5%EC%9D%B4-%EB%92%A4%ED%9D%94%EB%93%A0-ai%EA%B3%84/ 로 연결해 주세요.