AI 글쓰기, 왜 여전히 '기계 번역' 같을까

논문이 던진 질문

arXiv에 오른 초록만으로는 방법론과 핵심 주장이 확인되지 않습니다. 제목은 'AI 생성 언어가 이해하기 어려운 이유'를 묻습니다. 저자는 토머스 히카루 클라크 외 2명, 제출일은 2026년 10월 21일입니다.

커뮤니티가 짚은 핵심

해커뉴스 댓글 147개에서 세 가지 지점이 반복됐습니다.

• 베이스 모델(사전학습만 된 모델)이 RLHF·지시 튜닝 버전보다 더 인간답게 쓴다
  라마 3 베이스와 인스트럭트 버전을 비교한 사용자는 베이스 쪽이 문체 면에서 인간에 훨씬 가깝다고 증언했습니다.

• AI가 중요한 내용과 사소한 내용을 구별 못해 장황해진다
  '고수준 명세' 변경을 물었더니 구현 세부사항만 나열하더라는 경험담이 대표적입니다.

• 간결함을 강요한 결과 객체 생략 등 부자연스러운 문법이 늘었다
  form.submit() 같은 코드식 표현이 영문으로 그대로 나온다는 예시가 공감을 얻었습니다.

기존 연구와 다른 점

기존 논의는 '환각'이나 '사실 오류'에 집중됐습니다. 이번 논문과 커뮤니티 반응은 문체·정보 밀도·역할 구분 같은 언어적 특성으로 초점을 옮겼습니다. RLHF 과정이 '도움되는 비서' 역할을 강요하면서 인간 고유의 간결함·맥락 생략 능력을 오히려 잃게 만들었다는 가설이 설득력을 얻고 있습니다. 본지가 47일 전 다룬 AI에게 글쓰기를 맡기면 내 생각이 사라질까 기사에서도 '생각의 주체성' 문제가 제기됐는데, 이번엔 그 주체성이 문장 단위에서 어떻게 훼손되는지 보여줍니다.

쉽게 풀어보면

이 논문은 토머스 히카루 클라크 연구팀이 'AI 글이 왜 기계 번역처럼 읽히는가'를 물은 것입니다. 커뮤니티 반응을 종합하면 답의 실마리는 훈련 방식에 있습니다. 사람처럼 대충 말하고, 앞뒤 자르고, 중요한 것만 짚는 능력이 RLHF(인간 피드백 강화학습) 과정에서 깎여 나갔습니다. 비유하자면 회사 보고서만 써 본 신입사원에게 친구한테 카톡 보내듯 쓰라고 시키는 꼴입니다. 베이스 모델은 '인간 언어의 통계'를 익혔지만, 인스트럭트 모델은 '비서 말투 매뉴얼'을 외운 셈입니다. 그래서 둘 다 아는 지식이어도 베이스 모델 쪽이 더 자연스럽다는 증언이 나옵니다.

나에게 미치는 영향

챗GPT나 클로드에서 답이 너무 길거나 어색하면 새 대화창을 열지 말고 '짧게, 핵심만'이라고 한 번 더 지시하세요. 역할 프롬프트('전문가처럼 설명해줘')를 쓰면 더 장황해질 수 있습니다. 개발자라면 베이스 모델 API 접근이 가능한지 확인해 보세요. 문체 자연스러움이 중요한 초안 작성·번역·요약엔 베이스 모델이 나을 수 있습니다. 일반 사용자라면 AI 초안을 '사람 말투로 고쳐줘'라고 한 번 더 돌리는 습관만 들여도 결과물이 달라집니다.

남은 쟁점

이 대목이 걸립니다. 논문 전문과 실험 데이터가 공개되지 않아 어떤 지표로 '이해하기 어려움'을 측정했는지 알 수 없습니다. 커뮤니티의 베이스 모델 선호 증언도 정량 비교가 아닌 개인 경험입니다. RLHF가 문체에 미치는 영향을 분리하려면 '같은 베이스 모델에서 RLHF 전후만 바꾼 쌍'으로 블라인드 테스트가 필요합니다. 아직 그런 공개 벤치마크는 없습니다. 본지가 9일 전 다룬 AI로 하드웨어 드라이버 직접 만든다 사례처럼 코드·기술 문서 영역에서는 간결함이 곧 정확성이라, 이 문제가 더 치명적일 수 있습니다.