AI가 '생각'을 숨기고 '말'만 내놓는다면

아르시브(arXiv)에 10월 13일 올라온 논문 한 편이 해커뉴스에서 212점, 133개 댓글을 모았다. 제목은 '하이브리드 추론 에이전트: 잠재 공간에서 생각하고 텍스트로 행동하는 LLM 에이전트'. 아직 제품도, 데모도 없다. 하지만 현재 LLM이 '생각하는 과정'을 텍스트로 강제 토해내는 방식에 의문을 던지는 시도로 읽힌다.

논문이 말하는 것

제1저자 Jiaru Zou를 포함한 8명이 쓴 이 논문은 LLM 에이전트가 **잠재 공간(latent space)**에서 추론하고, 최종 행동만 텍스트로 내보내는 아키텍처를 제안한다. 잠재 공간이란 모델 내부 신경망의 연속된 벡터 표현 공간을 말한다. 사람이 말로 생각을 정리하기 전, 머릿속에서 개념이 떠다니는 상태와 비슷하다.

기존 체인오브소트(Chain-of-Thought) 방식은 중간 추론 단계를 전부 텍스트로 강제한다. 이 논문은 그 강제가 계산 낭비이자 표현 제약이 될 수 있다고 본다. 내부 벡터 연산으로 더 빠르고 풍부하게 추론한 뒤, 필요한 결과만 언어로 변환하자는 얘기다.

쉽게 풀어보면

이 연구는 AI에게 '생각을 말로 다 설명하지 마라'고 허락하는 실험이다. 지금 챗GPT나 클로드 같은 모델은 문제를 풀 때 '먼저 이렇게 생각하고, 다음엔 저렇게 하고…' 식으로 중간 단계를 전부 글로 적는다. 사람이 수학 문제를 풀 때 연습장에 식을 적듯 말이다.

그런데 사람은 복잡한 일을 할 때 매 단계를 말로 끄집어내지 않는다. 신발 끈을 묶을 때 '왼손으로 고리를 만들고 오른손으로 감고…'라고 생각하며 하지 않는다. 그냥 묶는다. 이 논문은 AI도 **내부 연산(잠재 공간)**으로 직관적으로 처리하고, 최종 답만 말하게 하자는 제안이다.

비유하자면 지금 AI는 '생각하는 과정까지 라이브 중계'하는 스트리머다. 이 연구는 '편집본만 내보내는 방송'으로 바꾸자는 것이다. 계산량은 줄고, 사람 언어로 표현하기 힘든 미세한 패턴도 내부에서 다룰 수 있게 된다.

단, 이건 아직 논문일 뿐이다. 깃허브 저장소도, 허깅페이스 스페이스도, 레플리케이트 데모도 없다. '코드·데이터·미디어' 항목이 모두 비어 있다. 당장 써볼 수 있는 건 아무것도 없다.

커뮤니티가 짚은 쟁점

해커뉴스 댓글 133개 중 몇 가지 핵심이 반복된다.

첫째, **'생각을 숨기면 검증이 안 된다'**는 우려다. 한 댓글은 "KV 캐시(키-값 캐시, 모델이 문맥을 기억하는 내부 버퍼) 안에는 단어가 아니라 잠재 벡터가 들어 있다. 중간 층에서는 단어와 상관관계가 약하다"고 지적했다. 사람이 읽을 수 없는 형태로 추론하면, 왜 그런 결론이 나왔는지 사후 분석이 불가능해진다는 얘기다.

둘째, '작은 모델이 큰 모델에 힌트를 주는 구조' 아이디어가 나왔다. "작고 싼 모델이 문맥을 채워 힌트를 주고, 큰 모델이 그걸 보며 사고하게 하면 메모리 역할도 된다"는 제안이다. 본지가 앞서 다룬 퀸 3.8 플래시 넥스트도 125B 몸집 중 6B만 깨우는 MoE(Mixture of Experts) 방식이다. '필요한 부분만 쓴다'는 방향성은 같다.

셋째, **'성능이 오르면 그만 아닌가'**란 반론도 있다. "최종 결과와 상관없으면 성능이 안 오를 텐데, 오른다"는 댓글이 여러 개 달렸다. 해석 가능성을 희생해도 성능 이득이 크면 받아들여질 수 있다는 시각이다.

나에게 미치는 영향

지금 챗GPT·클로드·제미나이에서 '생각 과정 보기' 기능을 켜두세요. 이게 기본값인 이유가 있다. 모델이 텍스트로 생각을 강제할 때, 사용자는 논리 비약이나 환각을 중간에 잡을 수 있다.

만약 이 연구가 제품화돼 '생각 숨김 모드'가 생기면, 답만 받고 과정을 못 보게 될 수 있다. 그때는 같은 질문을 새 대화창에서 다시 던져보세요. 다른 추론 경로로 답이 나오면 앞선 답을 의심할 근거가 된다.

개발자라면 작은 모델로 큰 모델을 보조하는 패턴을 지금도 테스트해볼 만하다. 7B~14B급 로컬 모델로 문맥 요약·힌트 생성을 맡기고, 70B 이상 대형 모델에 넘기는 파이프라인은 이미 로컬라마 커뮤니티에서 실험 중이다. 딥시크 V4.1 플래시가 벤치마크 만점을 찍었지만 실전 평가가 갈린 이유도, '생각을 어떻게 드러내느냐'와 무관치 않아 보인다.

남은 건 검증뿐

이 논문은 아직 검증되지 않은 제안이다. 저자들도 코드·데모를 공개하지 않았다. 해커뉴스에서 "재현 가능한 구현체가 나오기 전엔 평가 불가"란 댓글이 여럿 달린 이유다.

앞으로 볼 지점은 세 가지다.

• 실제 구현체가 성능·해석 가능성 트레이드오프를 어떻게 증명할지
• 오픈소스 커뮤니티가 로컬 모델로 이 아키텍처를 재현할지
• 앤스로픽·오픈AI·구글 같은 대형 업체가 유사 접근을 제품에 녹일지

지금 단계에서 일반 사용자가 할 일은 없다. 다만 **'생각을 텍스트로 강제하는 현재 방식이 유일한 정답은 아니다'**란 사실만 기억해두면 된다. 변화는 논문 한 편에서 시작하지만, 닿는 건 내 손안의 챗봇이다.