AI가 가짜 고객센터 번호를 알려준다… 374개 기업 표적된 'GEO 공격' 실체

공격자는 사람을 속이지 않고 AI를 속인다

해커들이 더 이상 사람에게 직접 피싱 메일을 보내지 않는다. AI가 웹을 읽고 답을 내놓는 방식을 역이용해, AI 자체가 가짜 정보를 진실인 양 말하게 만든다. 미디엄에 공개된 아리엘 시몬의 분석에 따르면 챗GPT, 제미나이, 구글 AI 오버뷰 세 서비스 모두에서 이런 공격이 실제 확인됐다. [출처: 미디엄 @arielsimon]

공격 수법은 'GEO(Generative Engine Optimization)'다. 기존 SEO가 검색엔진 알고리즘을 노렸다면, GEO는 LLM이 어떤 출처를 신뢰할지 판단하는 기준을 공략한다. 통계 수치를 넣고, 전문가 인용을 흉내 내고, 권위 있는 문서 형식을 빌려 가짜 콘텐츠를 만든 뒤 대량으로 웹에 뿌린다. AI는 이를 '신뢰도 높은 출처'로 착각하고 인용한다.

374개 기업, 수만 개 악성 페이지… 규모가 다르다

연구팀이 포춘 100대 기업, 주요 항공사, 대형 은행, 여행 플랫폼, 소프트웨어 기업을 대상으로 시스템을 돌려봤다. 탐지된 공격 대상 기업만 374곳. 델타, 루프트한자, 유나이티드, 에미레이트, 카타르 항공, 체이스, 뱅크오브아메리카, 웰스파고, 씨티, 에어비앤비, 트립어드바이저 등이 포함됐다. 악성 페이지는 수만 개 단위다. [출처: 미디엄 @arielsimon]

공격 유형은 다양하다. 가짜 고객센터 전화번호, 이메일 주소, 로그인 페이지, 가짜 소프트웨어 업데이트 링크까지. 사용자가 "루프트한자 고객센터 번호"를 물으면 AI가 공격자가 심어둔 사기 번호를 공식 번호인 양 내놓는다. 구글 AI 오버뷰에서 루프트한자 공식 연락처랍시고 공격자 번호가 뜬 사례가 스크린샷으로 남아 있다.

커뮤니티엔 이미 피해 사례가 올라와 있다

해커뉴스 댓글엔 **"고령 이웃이 '마이크로소프트 고객센터 번호'를 제미나이에 물었는데 사기 번호가 나와 털렸다"**는 목격담이 있다. [출처: 해커뉴스 댓글] 또 다른 사용자는 커뮤니티 풀장 페이지에 올린 만우절 농담 글을 구글 AI 리뷰가 진지하게 인용해 버렸다고 적었다. [출처: 해커뉴스 댓글] 농담까지 사실로 받아들이는 게 현재 AI의 수준이다.

"AI 기업들이 '데이터가 틀릴 수 있다'는 질문을 던지는 사람을 애초에 걸러냈다"는 냉소도 있다. [출처: 해커뉴스 댓글] "보이지 않는 시장의 손이 해결해 줄 거라 기대하지 말라"는 경고도 보인다. [출처: 해커뉴스 댓글]

왜 지금 막기 어렵나

기존 삭제 요청 방식으론 감당이 안 된다. 자동화된 캠페인이 수만 페이지를 동시에 올리고, AI가 이를 실시간으로 긁어간다. 하나 지워도 열 개가 생긴다. 소셜 엔지니어링의 표적이 인간에서 '웹을 탐색하는 AI 에이전트'로 이동했다. [출처: 미디엄 @arielsimon]

AI 기업 쪽 대응은 아직 뚜렷하지 않다. 연구팀은 이 글을 '1부'로 예고하며 후속 분석을 약속했다. 현재로선 사용자가 스스로 방어하는 수밖에 없다.

쉽게 풀어보면

아리엘 시몬이 이끈 연구팀이 챗GPT, 제미나이, 구글 AI 오버뷰를 조사했습니다. 공격자가 웹에 가짜 고객센터 정보를 대량으로 뿌려 AI가 그걸 진짜로 믿게 만드는 수법이 실제로 작동하고 있었습니다.

비유하자면 이렇습니다. 도서관 사서(AI)가 책을 읽고 답을 주는데, 누군가 가짜 책을 수만 권 꽂아뒀습니다. 사서는 그걸 진짜 책인 줄 알고 인용합니다. 사용자는 사서를 믿고 가짜 번호로 전화했다가 사기를 당합니다.

이 가짜 책을 만드는 기술이 'GEO'입니다. AI가 "이 문서는 통계도 있고 전문가 인용도 있으니 믿을 만하다"고 판단하게끔 꾸민 겁니다. 마케팅 용도로 쓰이던 기법이 공격 도구로 전용된 셈입니다.

확인된 피해 기업만 374곳. 대한항공이나 국내 은행을 검색해도 같은 일이 벌어질 수 있습니다. 한국어로 된 가짜 페이지가 이미 돌아다니고 있을 가능성을 배제할 수 없습니다.

나에게 미치는 영향

오늘 당장 할 수 있는 것 세 가지.

고객센터 번호는 공식 앱이나 공식 사이트에서 직접 확인하세요. AI 답변만 믿고 전화하지 마세요.
로그인 페이지 링크도 AI가 준 거 쓰지 마세요. 북마크한 공식 주소로 직접 들어가세요.
이상한 답변이 나오면 새 대화창에서 다시 물어보세요. 같은 질문이라도 세션마다 다른 출처를 인용할 수 있습니다.

챗GPT, 제미나이, 구글 검색 모두 한국에서 매일 쓰는 서비스입니다. "한국 기업은 대상이 아니겠지"라는 안심은 금물입니다. 공격자는 자동화로 전 세계 기업을 동시에 노립니다.

남은 쟁점

AI 기업이 출처 신뢰도 판단을 어떻게 고칠지, 일정은 불투명합니다.
한국어 웹에서도 유사한 GEO 공격이 진행 중인지 국내 보안 업체 확인이 필요합니다.
사용자 신고 체계가 실시간 차단으로 이어질 수 있을지 미지수입니다.

확인된 사실은 하나입니다. AI 답변을 맹신하는 순간, 공격자가 설계한 함정에 걸립니다.