AI 챗봇, 금융 질문엔 "대부분 틀린다"… 실사용자 반응은 달랐다

FT가 지적한 지점

FT 헤드라인은 직설적입니다. "AI 챗봇, 금융 질문엔 대부분 틀린다." 기사 전문은 확인되지 않았습니다. 다만 헤드라인만으로도 환각 비율이 높다는 경고로 읽힙니다. 과거 FT는 대형 언어모델의 수치 연산 약점을 반복 지적해 왔습니다. 이번 보도도 그 연장선으로 보입니다. 이 대목이 걸립니다. 테스트 모델과 질문 세트가 무엇인지 없이 '대부분'이라는 단정만 남았습니다.

현장에서 다르게 본 이유

해커뉴스 댓글 26개 중 몇 가지가 정면으로 반박하거나 보완합니다. 한 사용자는 "원본 문서를 알고 있으면 업로드해 답을 뽑는 게 빠르다. 이후 내가 검증하면 된다"고 썼습니다. 모델을 '검색기'로 쓰고 최종 판단은 사람이 하는 식입니다. 다른 댓글은 "이미 권위 있는 출처를 아는데 왜 모델에 묻나"라며 순환 논리를 지적했습니다. 자료 위치를 모를 때만 모델이 가치가 있다는 뜻으로도 읽힙니다. 영국 연금 세제 한도(연 6만 파운드, 미사용 3년 이월) 같은 복잡한 제도를 나열한 댓글도 있습니다. 세부 규칙이 얽힌 케이스에서는 모델이 헛점을 보일 수 있다는 현장 증언입니다. **"레이아웃이 학습 데이터와 다른 재무제표는 못 읽는다"**는 기술적 한계도 나왔습니다.

쉽게 풀어보면

파이낸셜타임스가 AI 챗봇의 금융 답변 신뢰도를 비판했습니다. 해커뉴스 사용자들은 **'원본을 알고 있을 때만 요약기로 쓰라'**고 반박합니다. 뷔페에 비유하면 이렇습니다. 요리사(AI)가 음식을 가져다주는데 독버섯이 섞여 있을 수 있습니다. 독버섯을 골라낼 지식(원본 문서·세법 지식)이 있는 사람만 안전하게 먹습니다. 모르는 사람이 그대로 삼키면 탈이 납니다. 핵심은 '검증 능력' 유무입니다. 세무사·회계사·경력 투자자는 오류를 걸러내니 생산성이 오릅니다. 일반인은 틀린 답을 진짜로 믿기 쉽습니다.

한국 상황에 대입해 보면

자료에 한국 수치는 없습니다. 해커뉴스 댓글에는 영국 연금 한도(6만 파운드)만 나옵니다. 한국은 연금저축·ISA·퇴직연금 등 세제 혜택 한도와 이월 규칙이 매년 바뀝니다. 구체적 수치는 본지가 확인하지 못했습니다. 모델 학습 데이터 컷오프 시점도 자료에 없습니다. 국내 공시 자료(DART) 포맷 호환성 역시 자료에서 확인된 바 없습니다. 다만 무료 클로드 계정으로 소넷 모델을 쓸 수 있다는 댓글은 있습니다. 구독 없이 최신 모델을 시험해 볼 창구는 열려 있습니다.

나에게 미치는 영향

챗GPT·클로드·제미나이로 금융 상품 비교를 묻지 마세요. 세율·한도·수수료 같은 수치는 공식 사이트에서 직접 확인하세요. 대신 내가 가진 PDF 약관·공시 자료를 업로드해 요약시키는 용도로는 씁니다. 답이 나오면 원문 해당 페이지를 열어 대조하세요. 복잡한 연금 이월 계산·세액공제 시뮬레이션은 전용 계산기를 쓰세요. AI는 '어떤 계산기를 써야 하는지' 안내하는 내비게이션 정도로만 두세요.

여전히 모르는 것

FT 원문 전문과 테스트 방법론(어떤 모델, 어떤 질문, 평가 기준)은 공개되지 않았습니다. 해커뉴스 표본 26개도 전체 사용자 심리를 대변하지 않습니다. 무료 티어에서 소넷 모델이 기본 제공되는지, 언제까지인지도 공식 발표로 확인해야 합니다. 이 글은 자료가 허용하는 선에서만 정리했습니다.