카르파티 "LLM 능력에 대한 공통 이해 격차 커진다"

카르파티가 지적한 것

안드레이 카르파티가 엑스(트위터)에 남긴 한 줄이 해커뉴스에서 256점, 댓글 413개를 끌어모았다. "LLM 능력에 대한 공통 이해 격차가 벌어지고 있다"는 제목만으로도 논쟁이 붙었다. 원문 트윗 본문은 확인되지 않았으나, 제목 자체가 그가 보기에 현재 상황이 단순한 의견 차이를 넘어 '깔때기'처럼 뾰족해지고 있다는 판단임을 보여준다.

카르파티는 테슬라 AI 총괄과 오픈에이아이 창립 멤버를 지낸 연구자다. 그가 말하는 '공통 이해'란 개발자·투자자·일반 사용자가 각자 머릿속에 그리는 LLM 성능 지도가 더 이상 겹치지 않는다는 뜻으로 읽힌다.

왜 지금 격차가 벌어지는가

해커뉴스 댓글 몇 가지만 봐도 원인이 흩어져 있지 않다.

• 인센티브 구조: "문제를 풀 동기도 있지만, 앞서가는 이들이 더 큰 이익을 좇는다"는 지적이 가장 많은 추천을 받았다. 모델 성능을 과장해 펀딩·주가를 띄우는 쪽과, 실제 한계를 알리려는 쪽의 이해가 엇갈린다.
• 벤치마크 의존도: "평균인가 중간값인가"라는 댓글처럼, 소수 유명 모델의 극단적 점수가 전체 분포를 왜곡한다.
• 하드웨어 병목: "램 제조사 용량을 통째로 사들여 임대 비즈니스를 만든다"는 음모론성 댓글까지 나올 만큼, 추론 비용·장비 접근성 차이가 체감 격차를 키운다.

이 세 가지가 맞물리면서 '모델이 할 수 있는 일'에 대한 기준선이 집단마다 다르게 그어지는 중으로 보인다.

벤치마크와 실전의 차이

본지가 24일 전 다룬 딥시크 V4.1 플래시, 해킹 벤치마크 만점… 하지만 실전은 다를 수 있다 기사는 이 격차의 단면을 보여준다. 해킹 벤치마크에서 만점을 받았으나, 실사용자 평가는 "엉�한 코드를 짜기도 한다"와 "생각보다 잘 따른다"로 갈렸다.

같은 맥락에서 27일 전 F-Droid 앱 102개 중 얼마나 AI가 썼을까? 조사도 참고할 만하다. 오픈소스 앱 저장소 최신 버전 102개를 직접 분류한 결과, AI 작성 비중이 공개된 통계보다 낮게 나왔다. 벤치마크·마케팅 문구·깃허브 커밋 로그만 보면 "이미 다 AI가 쓴다"는 인상이 들지만, 실제 코드베이스는 아직 사람 손이 많다.

두 기사를 나란히 놓으면 '발표 지표'와 '현장 체감' 사이 간극이 데이터로 확인된다. 카르파티가 말한 '깔때기'가 허구가 아님을 뒷받침한다.

커뮤니티가 보는 다른 각도

해커뉴스 댓글 중 눈에 띄는 반론도 있다.

• "멘사는 퍼즐 풀이 능력만 본다. 강화학습은 과제 완수 능력을 기른다" — 평가 지표 자체가 다를 수 있다는 지적.
• "천재가 있어도 제대로 안 쓰면 소용없다" — 모델 능력보다 도구화·워크플로 통합이 실질 가치를 가른다는 현실론.

이들은 카르파티의 '이해 격차'를 모델 탓이 아니라 평가·도입 방식 탓으로 돌린다. 어느 쪽이 맞다기보다, 두 층위가 동시에 작동하고 있음을 보여준다.

쉽게 풀어보면

카르파티가 말하는 상황은 이렇다. 뷔페에 음식이 잔뜩 나왔는데, 어떤 사람은 "이거 다 먹어도 된다" 하고 어떤 사람은 "저건 장식이야" 한다. 둘 다 틀린 말이 아니다. 음식이 어떤 접시에 담겼느냐, 누가 언제 가져가느냐에 따라 먹을 수 있는 양이 달라지기 때문이다.

LLM도 마찬가지다. 같은 모델이라도 프롬프트 설계, 컨텍스트 길이, 툴 연동, 평가 데이터셋에 따라 결과가 천차만별이다. 벤치마크 점수 90점이 "실무에서 90% 해결"을 보장하지 않는다. 그 90점이 어떤 조건에서 나온 숫자인지, 내 업무에 그 조건이 맞는지 따지지 않으면 오해만 쌓인다.

나에게 미치는 영향

당장 내일 챗GPT나 클로드를 쓸 때 체크할 것 세 가지.

• 새 대화창에서 다시 묻기: 같은 질문이라도 컨텍스트가 깨끗할 때 답 품질이 다를 수 있다. 이상하면 세션을 갈아보라.
• 작은 단위로 쪼개 묻기: "이 기능 전체 짜줘" 대신 "이 함수 시그니처만 줘 봐"로 나누면 실패 확률이 떨어진다.
• 벤치마크 점수만 보고 모델 고르지 않기: 코딩이면 휴먼이밸·에이더 벤치마크, 글쓰기면 자체 테스트 세트를 돌려보는 편이 빠르다.

개발자가 아니어도 '이 모델이 내 일에 맞나'를 5분 만에 테스트하는 습관만 들여도 격차 피해를 줄일 수 있다.

아직 확인되지 않은 것

카르파티 원문 트윗 전문은 공개되지 않았다. 그가 어떤 지표·사례를 근거로 '격차 확대'를 주장했는지, 구체적 수치나 비교 대상은 알 수 없다. 해커뉴스 댓글도 자기선택 편향이 강한 커뮤니티 반응일 뿐이다.

다만 벤치마크 만점 모델의 실전 평가 엇갈림(딥시크), 오픈소스 실태 조사에서 드러난 AI 코드 비중 과대평가(F-Droid) 같은 독립적 관측점이 같은 방향을 가리키고 있다는 점만으로도, "이해 격차"가 체감 가능한 현상임은 부정하기 어렵다.

앞으로 나올 모델 카드·시스템 카드·서드파티 감사가 이 격차를 좁힐지, 아니면 또 다른 마케팅 도구가 될지가 다음 관전 포인트다.