장난 같은 벤치마크 '어스벤치', 그런데 모델 비교는 된다

이름부터가 농담이다. '어스벤치(AssBench)' — 엉덩이 벤치마크라는 뜻이다. 그런데 막상 사이트에 들어가 보면 여러 AI 모델을 한 번에 비교하는 기능이 실제로 돌아간다. 해커뉴스에서 163점, 45개 댓글이 달린 이 도구, 한국에서 쓸 만할까.

무엇이 어떻게 작동하나

어스벤치는 단일 프롬프트를 여러 모델에 던져 결과를 나란히 보여준다. 클로드 계열은 오퍼스, 페이블, 소넷, 하이쿠 버전별로, GPT 계열은 아스트라, 솔, 테라, 루나 그리고 GPT 5.5까지 포함한다. 날짜별 비교도 가능하다. 같은 모델이 며칠 새 어떻게 달라졌는지 볼 수 있다는 뜻이다.

다만 핵심인 프롬프트 내용은 확인할 수 없다. 사이트의 PROMPT.md 링크는 404 에러를 반환한다. 해커뉴스 댓글에서도 "프롬프트 파일이 없다"는 지적이 나왔다. 어떤 질문으로 비교하는지 모른 채 결과만 보는 셈이다.

커뮤니티 반응: 농담인지 진심인지

해커뉴스 댓글은 두 갈래로 갈린다. "우리가 필요로 하는 평가, 하지만 우리가 받을 자격이 없는 평가"라는 냉소적 찬사가 있는가 하면, "왜 플래그(신고) 당했나? 독자는 성인 아닌가"라며 사이트 이름 때문에 차단됐을 거라 추측하는 반응도 있다. 한 사용자는 "교회 다니고 욕 안 하는데 내 안의 13살 소년에게는 웃기다"라고 적었다.

이 도구를 만든 쪽도 진지하지 않다. 클로드 하이쿠가 "종이접기 엉덩이(折り紙臀)"를 꿈꿨다는 식으로 결과물을 소개한다. 본지가 6일 전 다룬 딥시크 V4.1 플래시, 해킹 벤치마크 만점… 하지만 실전은 다를 수 있다 기사에서도 벤치마크 점수와 실사용 괴리를 지적했는데, 어스벤치는 그 괴리를 아예 농담으로 승화시킨 케이스로 보인다.

한국 사용자 기준: 접속은 되나 한국어는 미지수

사이트 접속 자체는 한국에서 차단되지 않는다. 별도 가입 없이 웹브라우저로 바로 들어간다. 하지만 인터페이스는 영어만 제공된다. 프롬프트가 영어로 짜여 있을 가능성이 크고, 한국어 프롬프트를 넣었을 때 동일하게 비교해 줄지는 알 수 없다.

무료인지 유료인지도 공개되지 않았다. API 키를 요구하지 않는 것으로 보아 운영자가 모델 호출 비용을 부담하거나, 일일 한도가 있을 것으로 보인다. 본지가 28일 전 다룬 퀸 3.8 플래시 넥스트 공개… 125B MoE가 6B만 깨워 쓴다 기사에서처럼 신모델이 빠르게 나오는 시기다. 어스벤치에 새 모델이 얼마나 빨리 추가되는지도 검증 포인트다.

쉽게 풀어보면

어스벤치는 여러 AI 모델에게 똑같은 질문을 던져 답을 나란히 보여주는 비교 도구다. 뷔페에서 같은 음식을 여러 그릇에 담아 맛보는 것과 비슷하다. 클로드와 GPT의 여러 버전이 한 화면에 뜬다.

차이점은 질문지를 볼 수 없다는 점이다. 주방장이 어떤 레시피로 요리했는지 안 알려주고 "맛만 보라"는 식이다. 그래서 이 결과가 내 업무에 쓸모 있는지 판단하기 어렵다. 이름이 장난스럽고 만든 이도 농담 반 진담 반으로 운영 중이다. 그런데도 모델 간 출력 차이를 직관적으로 보여주는 기능 자체는 작동한다.

나에게 미치는 영향

지금 당장 쓸 수 있는 건 '모델별 말투·논리 차이 구경' 정도다. 프롬프트가 공개되지 않아 내 작업에 맞는 모델을 고르는 근거로는 약하다. 한국어 프롬프트 테스트가 필요하면 챗GPT나 클로드 공식 사이트에서 직접 새 대화창을 열고 같은 질문을 던져보는 게 더 확실하다.

어스벤치를 참고용으로 쓰려면: 사이트(assbench.com)에 접속해 결과 화면을 캡처해 두고, 공식 서비스에서 같은 질문을 다시 테스트해 비교해 보라. 모델 선택에 10분 이상 쓰기엔 정보가 부족하다.

남은 쟁점

프롬프트 공개 여부, 한국어 지원 범위, 무료 한도, 모델 업데이트 주기 네 가지다. 운영자가 익명이라 문의 창구도 없다. 벤치마크로서 신뢰도를 높이려면 최소한 평가 프롬프트와 채점 기준은 열어야 한다. 그게 안 되면 '재미로 보는 모델 출력 모음' 이상 되기 어렵다. 본지가 8일 전 다룬 F-Droid 앱 102개 중 얼마나 AI가 썼을까 조사처럼, 투명한 방법론이 있어야 결과도 믿을 수 있다.