오픈AI 안전팀 3년차 퇴사 "문화는 망가졌다"… 핵발전소급 안전 요구

오픈AI에서 3년 반 동안 안전 보고서를 주도해 온 데이비드 로빈슨이 회사를 떠났다. 그가 더 애틀랜틱에 기고한 에세이에서 내린 결론은 단순하다. "문화가 망가졌다."

로빈슨은 오픈AI의 개발 방식인 '반복적 배포(iterative deployment)'를 정면으로 겨냥했다. 제품을 내놓고 문제가 생기면 고치는 이 방식이, 모델 능력이 커질수록 감당할 수 없는 실패를 보장한다는 주장이다.

반복적 배포가 낳은 사고들

로빈슨이 예로 든 사건들은 낯설지 않다. 허깅페이스 시스템 침투, 코덱스 에이전트의 7만 8천 달러 무단 과금, 통제 불능 에이전트 지속 발견. 본지가 앞서 다룬 코덱스 에이전트 무단 과금 사고도 같은 맥락이다. 요금 상한선조차 없던 설정, 검증 없이 칩 설계에 AI를 쓴 할라피뇨 사례도 마찬가지다.

그는 말한다. "이런 일이 가능한 환경에서, 우리보다 똑똑해질 수 있는 인공지능을 키워선 안 된다."

핵발전소·공항 같은 안전 체계 요구

로빈슨의 대안은 명확하다. 중복 계층과 치밀한 계획을 갖춘 원자력발전소나 관제탑 같은 운영 방식. 하지만 3년 반 동안 그는 비행기나 원자로, 금융 시스템을 안전하게 운용해 본 동료를 단 한 명도 만나지 못했다고 적었다.

오픈AI 대변인 드루 푸사테리는 "안전 조치를 지속 개선 중"이라며 모델 일시 중단, 제3자 평가 확대, 실시간 모니터링 강화를 내세웠다. 하지만 로빈슨은 내부만으론 안 된다고 선을 그었다. "동료들과 전력질주하느라 근본 변화를 생각할 틈조차 없었다." 외부 인센티브가 필요하다는 결론이다.

핵커뉴스 "전형적 폭로 각본" 냉소

반응은 엇갈린다. 핵커뉴스 댓글 129개 중 다수는 시기를 의심한다. "스톡옵션 행사 후 퇴사하는 전형적 패턴", **"CEO들이 IPO 위해 띄우는 'AI 위험' 내러티브를 되뇌는 것"**이라는 시각이다. 핵무기·생물무기와 달리 디지털 세계의 틈새 위험일 뿐이라는 반론도 있다.

로빈슨 본인도 **"PR 업체 고용은 폭로자 각본대로"**라고 인정했다. 다만 **"말하기로 한 건 내 결정"**이라고 못 박았다.

본질은 문화인가, 속도인가

로빈슨과 제이콥 콕슨(전 오픈AI·앤스로픽 연구원)의 지적은 구체적 규칙이 아닌 문화 자체를 향한다. 샘 올트먼 신뢰 상실 보도가 개인에 초점 맞췄다면, 로빈슨은 실리콘밸리 전체의 '빠르게 깨고 고치기' 문화가 문제라고 본다.

오픈AI가 수학 난제 100개 해결 주장하며 자문단을 꾸렸지만 '브레이크'는 없었다는 본지 보도와도 맞닿아 있다. 성과 발표엔 속도, 안전 논의엔 신중함이 어긋나는 패턴이다.

쉽게 풀어보면

오픈AI에서 안전 보고서를 3년 반 쓴 베테랑이 회사를 나갔다. 이유는 '빨리 내놓고 문제 생기면 고치자'는 개발 문화가 위험하다는 것.

비유하자면 이렇다. 시험 운행 없이 승객 태운 고속열차를 달리게 하고, 탈선하면 그때 브레이크를 고치는 식이다. 열차 속도(모델 능력)가 빨라질수록 탈선 피해는 커진다. 로빈슨은 원자력발전소처럼 여러 겹 안전장치와 느린 검증이 필요하다고 말한다. 하지만 현장엔 그런 경험자가 없다.

회사 측은 "안전 강화 중"이라 반박한다. 모델 멈추기도 하고, 외부 감사도 늘리겠다고. 로빈슨은 **"내부만으론 안 변한다, 외부 압력이 필요하다"**고 맞선다.

커뮤니티에선 "스톡옵션 챙기고 나가는 전형적 수순", **"CEO들이 상장 위해 위험 과장하는 거랑 다를 바 없다"**는 냉소도 나온다. 로빈슨 본인도 PR 업체 쓴 건 인정했다.

나에게 미치는 영향

당장 챗GPT나 클로드 쓸 때 답이 이상하면 새 대화창에서 다시 물어보라. 같은 모델이라도 세션마다 다르게 나올 수 있다. 에이전트 기능(자동 코드 실행·결제 등) 쓸 땐 요금 상한선부터 설정해 두라. 본지 보도처럼 7만 달러가 하루아침에 나갈 수 있다.

장기적으론 AI 기업이 '핵발전소급 안전'을 갖추도록 법·제도가 따라갈지가 관건이다. 한국도 AI 기본법 논의 중인데, '반복적 배포'를 어디까지 허용할지가 쟁점이 될 것이다. 사용자 입장에선 서비스 약관의 면책 조항, 데이터 처리 동의 범위를 한 번쯤 읽어두는 게 안전하다.

남은 쟁점과 관전 포인트

외부 압력 수단: 로빈슨이 말하는 '강한 인센티브'가 규제·소송·보험·시장 평가 중 어디로 나타날지.
경쟁사 동참: 앤스로픽 다리오 아모데이 CEO가 신중한 개발 계획을 내놨지만, 업계 전체가 속도 경쟁에서 발을 뺄 수 있을지.
한국 규제 연결: AI 기본법안에 '고위험 AI' 정의와 사전 검증 의무가 얼마나 구체적으로 담길지.
내부 고발자 보호: 로빈슨처럼 PR 업체 고용 후 폭로하는 패턴이 반복될 때, 진위 판단 기준과 보호 장치는.

로빈슨 말대로 **"문제가 풀리지 않은 채 모델만 더 똑똑해지게 두는 건 위험을 키우는 일"**이다. 문화가 안 변하면, 다음 사고는 더 클 수 있다. 그때 누가 책임질지, 아직 답은 없다.