MS 나델라 "모든 AI 모델은 해킹됐다 가정해야"… 비상제동 장치 촉구

마이크로소프트 CEO 사티아 나델라가 자신의 X 계정에 장문을 올렸다. 핵심은 하나다. "모든 AI 모델이 이미 해킹됐거나 손상됐다고 가정하고, 언제든 멈출 수 있는 비상제동을 달자." 그는 이를 '비상제동(emergency brake)'이라 불렀다. 권한 있는 사람이 작업 중인 모델을 즉시 일시정지하거나 종료할 수 있어야 한다고 했다.

이 발언은 더버지가 16시간 전 보도했고, 해커뉴스에서 37점 62댓글로 논쟁이 붙었다. 한국 시각으로는 오늘 새벽 나온 이야기다.

나델라가 말한 '비상제동'이란 무엇인가

나델라는 AI를 '중첩된 블랙박스(nested black boxes)'로 둬선 안 된다고 했다. 모델이 무슨 근거로 답하는지 알 수 없는 상태에서 단순히 수용하거나 거부만 해선 안 된다는 뜻이다. 그가 제시한 네 가지 축은 이렇다.

적시 사고 공개
독립적 감사
검증 가능한 데이터
격리(containment)

마지막 격리에서 그는 업계 논의보다 한발 더 나갔다. **"모델이 손상됐다고 가정하고 처음부터 격리해야 한다(We must assume a model is compromised and contain it from the start)"**고 했다. 더 진보한 모델일수록 더 정교한 격리 기술이 필요하고, 이를 표준화하자고 제안했다.

여기서 '손상됐다(compromised)'는 표현이 중요하다. 단순 버그나 오류가 아니다. 외부 침입, 데이터 오염, 내부자 조작, 프롬프트 인젝션 등 모델이 의도하지 않은 동작을 하게 된 모든 상태를 포함한다. 나델라는 이걸 전제로 깔았다. 더버지 보도에 따르면 그는 시스템이 **"위변조 불가능한 사람이 읽을 수 있는 증거(tamper-proof human readable evidence)"**를 남겨야 한다고도 했다.

클라우드 독점 위한 '규제 포석'이라는 시선도 있다

해커뉴스 댓글 62개 중 상당수가 나델라 의도를 의심한다. **"로컬 모델(온프레미스·오픈소스)을 겨냥한 FUD(공포·불신·의심) 전략"**이라는 시각이 많다. 대형 클라우드 업체가 "우리 서버에서만 안전하다"며 기업을 자사 인프라로 묶으려 한다는 얘기다.

한 댓글은 **"하이퍼스케일러들이 로컬 모델은 무능하다고 밀어붙이며 사람들을 자사 서비스에 묶어두려 한다"**고 썼다. 또 다른 댓글은 **"6억 달러(약 8천억 원)짜리 이유가 있으니 굽히는 것"**이라며 나델라 보상 패키지를 거론했다. 트럼프 행정부 압력설을 제기하는 댓글도 있었다.

마이크로소프트가 오픈AI에 거액을 투자했고 애저 오픈AI 서비스로 기업 고객을 끌어모으고 있다는 점은 공공연한 사실이다. 자사 클라우드에서만 '인증된 비상제동'이 작동하도록 표준을 선점하려는 것 아니냐는 의심이 나오는 배경으로 보입니다. 다만 투자 규모나 계약 세부 조건은 제공된 자료에서 확인되지 않았습니다.

정책 데스크가 보는 쟁점: '표준'을 누가 쥐나

나델라는 격리 기술을 표준화하자고 했다. 표준을 쥐는 쪽이 시장을 쥐게 된다. ISO/IEC 42001(AI 경영시스템)이나 NIST AI RMF(위험관리 프레임워크) 논의에 마이크로소프트가 깊숙이 들어와 있다는 건 업계에서 널리 알려진 얘기지만, 제공된 자료에서 직접 확인되지는 않습니다.

한국은 과기정통부가 **'AI 안전성·신뢰성 검증 체계'**를 마련 중이라는 보도가 있었으나, 본지가 확보한 자료에는 '비상제동' 요구사항 포함 여부나 구체 일정은 나오지 않았습니다. 국내 표준이 글로벌 표준과 엇박자 나면 이중 컴플라이언스 비용이 든다는 점은 일반적인 규제 환경에서 예상되는 리스크로 보입니다. 기업 입장에선 정부 부처별 가이드라인이 나올 때마다 교차 점검이 필요해 보입니다.

쉽게 풀어보면

마이크로소프트 CEO 나델라가 "AI 모델은 이미 해킹됐다고 가정하고, 언제든 즉시 멈출 수 있는 비상제동을 달자"고 말했습니다. 비유하자면 브레이크 없는 자동차를 도로에 내보내지 말자는 얘기입니다.

지금 많은 기업이 챗GPT나 클로드 같은 외부 AI 서비스를 씁니다. 이상 징후가 보일 때 '멈춰' 버튼을 누를 권한이 누구에게 있느냐가 핵심입니다. 외부 서비스라면 제공사(오픈AI, 앤스로픽, 구글)만 누를 수 있습니다. 계약서에 긴급 중단 요청 시 응답 시간 조항이 없으면, 이상 동작이 나도 지켜만 봐야 합니다.

자체 서버에 AI 모델을 돌려 쓰는 기업(로컬 모델)이라면 직접 비상제동을 짜야 합니다. 추론 서버에 강제 종료 스크립트를 심고, 쿠버네티스라면 파드 종료 유예 시간을 짧게 잡아야 합니다. 무엇보다 '언제, 누가, 왜 멈췄는지'를 위변조 불가능한 로그로 남겨야 합니다. 이게 나델라가 말한 '위변조 불가한 사람이 읽을 수 있는 증거'입니다.

나델라 발언은 글로벌 표준 논의에 '비상제동'을 필수 항목으로 못 박으려는 시도로 보입니다. 국내 기업은 지금 쓰는 AI 시스템마다 중단 권한·중단 절차·기록 보존 세 가지를 점검해 두는 게 안전해 보입니다.

나에게 미치는 영향

직장인·기획자·개발자라면 오늘 바로 확인해 볼 수 있는 것

외부 AI 서비스 계약서 확인 — '긴급 중단 요청 시 응답 시간(SLA)' 조항이 있는지 법무·보안팀에 물어보세요. 없으면 추가 요청이 필요해 보입니다.
사내 AI 모델 리스트업 — 챗GPT API, 클로드 API, 제미나이 API, 오픈소스 모델(라마·미스트랄·큐원 등) 중 어디를 쓰는지 팀별로 파악하세요.
중단 시나리오 테이블톱 연습 — "이 모델이 이상 답변을 내면 누가, 어떻게, 몇 분 안에 멈추나"를 10분만 시뮬레이션해 보세요. 문서로 남기면 나중에 감사 자료가 됩니다.
로그 무결성 검증 — 클라우드 콘솔 로그만 보지 말고, 해시 체인이나 타임스탬프 서비스로 위변조 여부를 자동 검증하는 스크립트 하나라도 돌려보세요.

자영업자·소상공인이라면
챗GPT 플러스나 클로드 프로 같은 개인 구독 계정으로 업무 데이터를 넣고 있다면, '대화 내역 삭제 요청'과 '모델 학습 미동의(opt-out)' 설정을 오늘 켜두세요. 비상제동은 못 걸어도 데이터 유출 차단은 바로 가능합니다.

남은 쟁점: 오픈소스 생태계는 어떻게 될까

나델라 발언 뒤에는 **"로컬 모델은 비상제동이 불가능하니 위험하다"**는 프레임이 깔려 있습니다. 오픈소스 커뮤니티는 반발합니다. "우리도 시그널 핸들러로 강제 종료 구현한다. 클라우드 종속성 키우려는 명분 쌓기다." 해커뉴스 댓글에서도 같은 지적이 나왔습니다.

한국 공공부문 AI 도입 가이드라인이 '클라우드 네이티브'를 강조해 왔다는 보도가 있으나, 제공된 자료에서 직접 확인되지는 않습니다. 온프레미스·오픈소스 도입 시 보안 인증·감사 부담이 더 커지는 구조라면 중소기업·스타트업은 클라우드 대형사 품으로 밀려날 수 있다는 우려가 나옵니다.

과기정통부가 마련 중인 검증 체계에 '오픈소스 모델도 비상제동 가능함을 입증하면 동등 인정' 조항이 들어가는지 지켜봐야 합니다. 안 들어가면 사실상 클라우드 독점 강화로 귀결될 가능성이 있어 보입니다.

확인된 건 나델라의 X 포스트 내용과 더버지 보도, 해커뉴스 반응까지다. 한국 정부 가이드라인 초안에 '비상제동' 요구사항이 어떻게 들어갈지는 아직 공개되지 않았다. 본지는 과기정통부·개인정보위 자료가 나오는 대로 후속 보도하겠다.