클로드 코드 '성능 낮추는 A/B 테스트' 의혹, 근거는 아직 없다

해커뉴스 게시글 한 건이 반나절 만에 댓글 153개를 모았습니다

확인된 사실부터 보면, 이번 사안은 아직 '주장' 단계입니다.

원문 제목: "Anthropic appears to be A/B testing reduced effort levels in Claude Code"(앤트로픽이 클로드 코드에서 낮춘 '노력 수준'을 A/B 테스트하는 것으로 보인다).
확산 규모: 수집 지표 기준 해커뉴스 게시글 1건, 점수 163·댓글 153.
시점: 수집 지표 기준 최초 등장 8.7시간 전.
게시처: 본지가 확보한 자료에는 해커뉴스 항목과 그 링크만 있어, 최초 작성자가 누구인지는 확인하지 못했습니다.

제목부터 "appears to"(~로 보인다)라는 추정형입니다. 그리고 원문 본문이 확보되지 않아, 작성자가 어떤 데이터를 근거로 이 주장을 했는지는 공개된 자료에서 확인되지 않습니다. 앤트로픽의 공식 입장도 아직 공개되지 않았습니다.

용어를 그 자리에서 풀면 이렇습니다.

Claude Code: 앤트로픽이 만든 코딩용 클로드 도구인데, 별도 설명은 공개된 자료에 없습니다.
effort level(노력 수준): AI가 답 하나에 계산을 얼마나 들이는지 정하는 설정값으로 보이는데, 회사가 이를 몇 단계로 나누는지는 확인되지 않았습니다.
A/B 테스트: 이용자를 두 집단으로 갈라 서로 다른 버전을 주고 반응을 비교하는 방식입니다.

의심하는 쪽의 주장을 가장 강한 형태로 세우면

"같은 값을 내는데 받는 게 줄었다"가 이 주장의 핵심입니다. 유료 도구에서 계산량을 조용히 낮춰 실험하면, 이용자는 자기가 어느 집단인지 모른 채 품질 차이를 떠안게 된다는 논리입니다. 다만 이 논리는 제목이 담은 주장을 본지가 정리한 것이고, 이 표현을 그대로 말한 이용자 발언은 자료에 없습니다.

자료에서 직접 인용할 수 있는 불만은 한 건입니다. 한 해커뉴스 이용자는 "하네스로 방향을 틀어보려 하지도 않는다. 통하지 않고, 주석을 쓸지 말지를 놓고 장황한 출력에서 세 문단을 허비할 뿐"이라고 적었습니다.

여기서 주석은 코드 옆에 사람이 읽으라고 달아 두는 설명 메모입니다. 하네스(harness)는 AI에게 일하는 순서와 방식을 미리 정해 두는 바깥쪽 설정을 가리키는 말로 쓰입니다.

풀어 쓰면, 메모를 달지 말지를 두고 AI가 세 문단을 늘어놓는데, 이 이용자는 어차피 통하지 않는다며 하네스로 방향을 잡아 보려는 시도 자체를 하지 않는다는 이야기입니다. 이 발언은 이용자 한 사람의 경험담이며, A/B 테스트를 직접 지목한 것은 아닙니다.

발췌 3건 중 A/B 테스트를 말한 것은 0건

반대편 논거로 직접 인용할 만한 발언은 공개된 자료에 없습니다. 대신 눈에 띄는 대목이 있습니다. 본지가 확보한 커뮤니티 발췌 3건 중 A/B 테스트를 직접 다룬 것은 하나도 없습니다.

한 이용자는 "일주일 걸릴 일을 이제 하루, 3~12시간이면 끝낸다"고 썼습니다. 성능이 떨어졌다는 문제 제기와 달리, 도구의 효용을 강하게 적은 발언입니다.

또 다른 이용자는 "최근 나온 수학 증명들이 '기존 것의 조합일 뿐'이라면 그 용어는 아무 의미가 없다"며 능력 논쟁 자체에 지쳤다고 했습니다. 성능 하향과는 다른 층위의 이야기입니다.

세 발췌를 나란히 놓으면 이렇게 갈립니다. 하나는 클로드 코드의 장황한 출력을 구체적으로 문제 삼고, 나머지 둘은 AI 능력을 둘러싼 일반 논쟁에 가깝습니다. 셋 중 어느 것도 성능 하향 실험을 뒷받침하거나 반박하지는 않습니다.

댓글은 153개지만 본지가 받은 발췌는 3건입니다. 나머지 대화가 어느 쪽으로 흘렀는지는 확인되지 않았고, 이 세 발췌가 같은 게시글에 달린 댓글인지도 확인하지 못했습니다.

쉽게 풀어보면

AI 회사 앤트로픽이 만든 코딩 도구 '클로드 코드'를 두고, "회사가 이용자 몰래 계산량을 낮춰 시험하는 것 같다"는 글이 개발자 커뮤니티 해커뉴스에 올라왔습니다. 반나절 만에 댓글 153개가 달렸지만, 회사가 인정하거나 부인한 적은 없습니다.

정액제 뷔페에 비유하면 이렇습니다. 값은 그대로인데 어느 날부터 접시가 작아진 느낌이 든다는 이야기입니다.

여기서 논쟁이 어려워지는 이유가 하나 있습니다. 손님 절반에게만 작은 접시를 준다면, 옆 테이블과 비교할 수 없고 식당은 "메뉴 반응을 보는 중"이라고 답할 수 있습니다. 이렇게 이용자를 둘로 갈라 다른 버전을 주고 반응을 보는 방식이 A/B 테스트입니다.

그런데 비유는 여기까지입니다. 접시 크기는 자로 재지만, AI 답변의 품질에는 눈금이 없습니다. 그래서 "줄었다"는 느낌은 강해도 증명은 어렵고, 반대로 회사가 "안 줄였다"고 해도 이용자가 검증할 방법이 마땅치 않습니다. 이번 논쟁이 하루 만에 끝나지 않을 가능성이 큰 이유로 보입니다.

나에게 미치는 영향

지금 요금제를 바꾸거나 도구를 갈아탈 근거는 아직 없습니다. 확인된 것이 주장 한 건뿐이기 때문입니다. 요금 인상이나 요금제 변경, 국내 적용 여부는 이번 자료에 전혀 없어 본지가 요금 비교 숫자를 제시할 수 없습니다.

대신 오늘 손에 쥘 수 있는 숫자는 요금이 아니라 '결과의 편차'입니다. 챗GPT·클로드·제미나이 중 유료로 쓰는 것이 있다면 오늘 이렇게 해 볼 수 있습니다.

같은 질문을 새 대화창에서 3번 반복해 보세요. 같은 계정, 같은 날인데도 답의 길이와 깊이가 크게 흔들린다면, 체감 저하가 실험 탓인지 원래 편차인지 구분하기 어렵다는 뜻입니다.
기억 대신 기록으로 남기세요. 자주 쓰는 질문 하나를 정해 주 1회 같은 문장으로 돌리고, 날짜와 답변을 함께 저장합니다. 4주면 비교 가능한 기록이 4건 쌓입니다. 논쟁이 정리된 뒤 시작하면 비교할 과거가 없습니다.
답변이 장황하다면, 위 이용자가 "대체로 통한다"고 밝힌 지시문을 그대로 써 볼 수 있습니다. "모든 수정·정정·과거의 실수를 생략하라"를 지시로 넣었다는 것까지가 자료에 있는 내용입니다.
AI를 믿고 마감을 잡았다면 낙관값 대신 최악값을 쓰는 편이 안전합니다. 효용을 강조한 위 이용자조차 같은 작업에 3시간과 12시간을 함께 적었습니다. 네 배 차이입니다.

말투 문제는 본지가 어제 다룬 Claude 특유의 장황한 말투 걷어내는 도구 '클로데트' 등장과도 이어집니다. 다만 그 기사는 본지가 원문을 확인하지 못한 상태로 전한 것이라, 두 사안을 같은 근거로 묶기는 어렵습니다.

무엇이 사실 다툼이고, 무엇이 가치관 차이인가

데이터로 판가름 날 사실 다툼은 셋입니다.

실제로 그런 실험이 있었는가.
있었다면 무엇을 나눴는가.
품질이 실제로 떨어졌는가.

반면 데이터로 끝나지 않는 부분도 있습니다. 유료 이용자에게 실험 대상이 됐다는 사실을 미리 알려야 하는가는 가치관 문제에 가깝습니다. 실험이 사실로 확인되더라도 여기서 의견은 갈릴 것으로 보입니다.

양쪽이 합의한다고 말할 만한 발언은 자료에서 찾지 못했습니다. 다만 발췌된 두 건이 각각 '출력이 장황하다', '같은 일에 3~12시간의 편차가 난다'고 적은 점을 보면, 결과가 일정하지 않다는 인식은 공유되는 것으로 보입니다. 이는 본지의 해석입니다.

앞으로 볼 지점은 세 가지입니다.

앤트로픽의 확인이나 부인이 나오는지.
같은 조건에서 재현 가능한 측정치를 내놓는 이용자가 등장하는지.
계정별로 결과가 실제로 갈리는 사례가 쌓이는지.