AI가 쓴 참고문헌 10개가 가짜… 동료 심사도 못 걸렀다

무슨 일이 있었나

나이지리아 대학 소속 사서 두 명이 쓴 논문이 테일러 앤 프랜시스(Taylor & Francis) 발행 저널 New Review of Academic Librarianship에 실렸다. 주제는 그림자 도서관 Z-Library다. 토렌트프리크(TorrentFreak) 확인 결과, 논문 참고문헌 44개 중 최소 10개를 찾을 수 없었다.

가장 눈에 띈 건 토렌트프리크 기사 인용이다. 논문은 "Publishers continue crackdown on shadow libraries"라는 제목의 2021년 기사를 인용했지만, 토렌트프리크는 그런 제목의 기사를 낸 적 없다. 미 법무부 보도자료 제목도 논문과 달랐다. 하버드 로앤테크 저널 다니엘 게르베이스(Daniel Gervais) 교수 논문, 칼리지 앤 리서치 라이브러리스 캐롤 테노피어(Carol Tenopir) 논문 등도 해당 호에 없었다.

왜 이 논문이 문제인가

논문 자체가 가짜가 아니다. 저자들은 실제 연구자고, 저널은 정상적인 동료 심사(peer-review) 절차를 거쳤다. 그런데 참고문헌만 가짜다. 토렌트프리크는 "이 인용들은 그럴싸해 보인다. 실제 출판사와 전문가 이름을 적절한 맥락에 배치했다"고 지적한다.

이게 더 위험하다. 완전히 엉뚱한 제목이면 금방 걸리지만, 그럴싸한 가짜는 검증하지 않으면 통과한다. 독자는 "토렌트프리크가 보도했구나" 하고 믿게 된다. 학술 인용의 신뢰 기반이 흔들리는 지점이다.

AI 도구가 어디까지 개입했나

논문 감사의 글에 직접 적혀 있다.

컨센서스 AI(Consensus AI): 대량 문헌 선별과 정보 추출에 사용
챗GPT(ChatGPT): 논문 일부 언어 다듬기에 사용

AI 탐지 도구 팡그램(Pangram)은 초록과 결론을 100% AI 생성으로 판정했다. 탐지 도구는 거짓 양성(false positive) 가능성이 있으니 단정은 못 한다. 하지만 저자 스스로 AI 사용을 밝혔고, AI가 잘 내는 오류 유형(실존 전문가 이름으로 그럴싸한 가짜 논문 생성)과 정확히 일치한다.

동료 심사는 어떻게 통과했나

심사자가 참고문헌을 일일이 확인하지 않았다는 뜻일 가능성이 크다. 논문 44개 레퍼런스를 심사 과정에서 전부 원문 대조하는 건 현실적으로 드물다. 특히 제목과 저자, 저널명, 연도가 다 맞춰져 있으면 의심 없이 넘긴다.

이번 사건은 동료 심사가 '참고문헌 진위 보증'이 아님을 다시 보여준다. 심사는 논리·방법·기여도 검증이지, 인용 하나하나의 팩트 체크가 아니다.

쉽게 풀어보면

이 논문은 Z-Library라는 불법 전자책 사이트를 다룬 학술 논문이다. 그런데 이 논문 खुद이 가짜 참고문헌을 달고 발표됐다.

비유하자면 이렇다. "불법 복제 사이트 문제를 분석한 보고서"를 제출했는데, 그 보고서의 각주에 "조선일보 2021년 3월 15일자 '불법 사이트 단속 강화' 기사"가 있다고 적혀 있다. 그런데 조선일보에 그런 기사는 없다. 기자 이름, 날짜, 면수까지 다 적혀 있는데 기사가 없는 거다.

저자들은 AI 도구 두 개를 썼다고 인정했다. 하나는 논문 찾을 때(컨센서스 AI), 하나는 문장 다듬을 때(챗GPT). AI가 논문 제목을 지어낸 것으로 보인다. AI는 "다니엘 게르베이스 교수가 하버드 로저널에 그림자 도서관 관련 논문을 썼을 법하다"는 식으로 근사해 보이는 가짜를 잘 만든다.

동료 심사자들은 이걸 못 걸렀다. 44개 참고문헌을 일일이 원문 찾아보는 심사자는 거의 없다. 제목과 저널이 그럴싸하면 "맞겠지" 하고 넘긴다.

나에게 미치는 영향

논문 읽을 때 참고문헌 무조건 믿지 마세요. 특히 최신 논문일수록 AI 도움 받았을 가능성이 큽니다. 핵심 인용은 원문 링크(DOI 등)로 직접 확인하세요.
학생·연구자라면: AI로 문헌 찾기(컨센서스 AI 등) 쓸 때, 추천받은 논문 제목·저자·DOI를 구글 스칼라나 DB에서 반드시 검증하세요. AI가 준 목록을 그대로 참고문헌에 넣으면 이번 케이스처럼 됩니다.
교수·심사자라면: 의심스러운 인용(제목이 너무 일반적이거나, 검색 안 되는 것)은 저자에게 원문 확인을 요구하세요. 심사 코멘트에 "참고문헌 3, 7, 12번 원문 확인 요망" 한 줄이면 됩니다.
일반 독자라면: "학술 논문에 실렸다"는 말만으로 100% 믿지 마세요. 동료 심사는 방법론 검증이지, 각주 팩트 체크가 아닙니다.

남은 쟁점

테일러 앤 프랜시스 측 입장은 아직 나오지 않았다. 논문 철회(retraction)나 정정(correction) 여부, 저널 차원의 AI 사용 가이드라인 개정 논의가 뒤따를 것으로 보인다.

한국 연구재단(NRF)이나 대학 연구윤리위원회도 생성형 AI 사용 논문의 참고문헌 검증 가이드라인을 마련할 시점이다. "AI 사용 공개"만으로는 부족하다. AI가 추천한 인용을 사람이 확인했는지까지 묻는 절차가 필요해 보인다.

본지가 47일 전 다룬 AI에게 글쓰기를 맡기면 내 생각이 사라질까에서는 '생각의 주체성'을 물었다. 이번 사건은 그 질문이 참고문헌이라는 학술 인프라 차원으로 번진 사례다. 생각이 사라지는 걸 넘어, 근거 자체가 증발할 수 있다.