딥시크, 추론 엔진 '딥인퍼' 오픈소스 공개… 직접 돌리려면 GPU 68장 필요

딥시크가 연 건 모델이 아니라 '운영 환경'이다

딥시크(DeepSeek)가 4월 28일 깃허브에 **딥인퍼(DeepInfer)**를 공개했다. 자사 대규모 프로덕션 서비스를 돌리는 추론 프레임워크다. 모델 가중치가 아니라, 모델을 어떻게 빨리 서빙할지에 초점을 맞춘 소프트웨어다.

라이선스는 아파치 2.0이다. 상업 이용·수정·재배포 모두 가능하다. 단, 저장소 README 첫 줄에 **"완전한 추론 서비스에 필요한 것들(미포함)"**이라는 전제가 붙는다.

실행 조건을 읽으면 '누구를 위한 공개'인지 보인다

요구사항을 나열해 보자.

리눅스
GCC 13.0 이상
파이썬 3.12
CUDA 13 (엔비디아만)
CANN 9.2 (화웨이 어센드만)
소스에서 직접 빌드

벤치마크 기준은 프리필 4장, 디코드 64장 — 합쳐서 SM100(H100/B200급) GPU 68장이다. 한 장에 수천만 원 하는 카드를 68장 꽂은 클러스터가 기준이다.

이걸 내 노트북이나 소규모 서버에서 돌리라는 게 아니다. "우리가 이렇게 서빙한다"는 레퍼런스 구현을 공유한 쪽에 가깝다.

쉽게 풀어보면

딥시크가 자사 서비스용 추론 엔진을 공개했습니다. 뷔페에 비유하면 이렇습니다.
뷔페(모델)는 이미 열려 있습니다. 그런데 음식을 손님 앞까지 얼마나 빨리, 얼마나 많이 나르는지가 관건입니다. 딥인퍼는 그 **배달 시스템(추론 서빙 프레임워크)**을 공개한 겁니다.

문제는 배달 트럭이 H100 68대라는 점입니다. 일반 식당(개인·중소기업)에서 그 트럭을 살 수 없습니다. 그래서 이 공개는 "우리 주방은 이렇게 돌아간다"는 시연에 가깝습니다.

기술적으로는 vLLM·SGLang·텐서RT-LLM을 참고해 만들었습니다. 오픈소스 생태계 위에 올라탔다는 뜻입니다.

한국 사용자가 지금 확인할 것

1. 내 GPU로 돌릴 수 있나?

엔비디아 소비자용 GPU(RTX 30/40 시리즈)는 CUDA 13을 공식 지원하지 않습니다. 드라이버·툴킷이 맞지 않아 빌드부터 막힙니다. 리눅스 서버에 H100/A100이 없으면 실행 자체가 안 됩니다.

2. 클라우드에서 쓰면 되지 않나?

AWS·GCP·애저에 H100 인스턴스가 있지만 시간당 수 달러~수십 달러입니다. 68장을 띄우면 시간당 수백 달러가 나옵니다. 테스트용으로 1~2장만 써도 벤치마크 수치는 나오지 않습니다.

3. 대안은 있는가?

vLLM·SGLang·텐서RT-LLM은 일반 GPU에서도 돌아갑니다. 딥인퍼가 노리는 '대규모 서빙 최적화'가 필요 없다면, 이쪽이 훨씬 현실적입니다. 한국 클라우드(네이버·카카오·KT)에서도 vLLM 기반 서빙을 이미 지원합니다.

4. 모델만 쓰고 싶다면?

딥시크 V4.1 플래시 가중치는 **허깅페이스에서 바로 내려받아 vLLM·올라마·텍스트 제너레이션 인퍼런스(TGI)**로 돌릴 수 있습니다. 딥인퍼 없이도 모델 추론은 가능합니다.

커뮤니티가 짚은 세 가지 우려

해커뉴스 댓글 360개에서 반복된 지점 세 가지를 정리한다.

첫째, 미국 제재 리스크
"주요 기업은 딥시크 쓰면 정부 계약 자격 박탈될 것"이라는 댓글이 다수 추천을 받았다. 미국 기업·정부 납품사가 딥인퍼를 도입하면 컴플라이언스 검토가 선행되어야 한다.

둘째, 데이터 주권
"딥시크는 하루 수조 토큰을 처리하며, 이용 약관에 '데이터를 우리가 쓴다'고 명시했다"는 지적이 있다. 온프레미스로 돌리면 데이터 유출은 막을 수 있지만, 모델 가중치 자체에 백도어가 있을까는 별개 문제다.

셋째, 전기요금·하드웨어 감가상각
중국 전기요금이 싸서 운영비는 시간당 50센트 미만이라는 주장도 있다. 하지만 하드웨어 구매비(감가상각)를 넣으면 얘기가 달라진다. 한국 전기요금·환율로 환산하면 이 수치는 참고용일 뿐이다.

본지가 앞서 다룬 두 기사와 연결되는 지점

3일 전 · DeepSeek V4.1 Flash 1017 출시, 오픈웨이트 모델 1위 등극
당시 "클로드 오퍼스 5를 넘었다"는 주장만 있었고 검증은 없었다. 이번 딥인퍼 공개로 그 모델을 어떻게 서빙하는지가 처음 드러났다.
40일 전 · DeepSeek V4.1 Flash 공개… 100만 토큰 문맥에 KV 캐시 4분의 1로 줄였다
KV 캐시 압축 기술이 딥인퍼의 프리필/디코드 분리 구조에서 빛을 발한다. 논문·블로그로만 설명되던 최적화가 실제 코드로 확인된 셈이다.

나에게 미치는 영향

일반 사용자·직장인·학생

오늘 당장 할 일 없음. 딥인퍼를 직접 빌드·실행할 하드웨어가 없다.
딥시크 모델만 쓰고 싶다면 올라마(ollama)나 vLLM 도커 이미지로 1~2분 만에 띄우세요. ollama run deepseek-v4.1-flash 한 줄이면 됩니다.

중소기업·스타트업 CTO

PoC(개념 검증)용으로 vLLM·SGLang부터 테스트하세요. 딥인퍼는 H100 68장 클러스터를 이미 운영 중인 팀만 검토 대상입니다.
미국 정부·기업 납품 계획이 있다면 법무·컴플라이언스 팀과 먼저 상의하세요. 오픈소스 라이선스와 별개로 '딥시크 사용' 자체가 제재 사유가 될 수 있습니다.

인프라 엔지니어

run_sweep.sh 벤치마크 스크립트를 읽어보세요. 프리필/디코드 분리 스케줄링, 스케일업 도메인 구성 등 운영 노하우가 코드에 녹아 있습니다.
vLLM·SGLang 코드베이스와 비교하며 어떤 최적화를 직접 구현했는지 뜯어보는 게 진짜 공부가 됩니다.

남은 건 '검증'이다

딥인퍼는 아파치 2.0으로 풀린 완성도 높은 서빙 프레임워크다. 하지만 **"누나 쓸 수 있는가"와 "실제 성능이 공개 벤치마크대로 나오는가"**는 아직 검증되지 않았다.

독립 벤치마크(MLPerf 등) 결과가 나올 때까지 기다려야 한다.
한국 클라우드·데이터센터에서 H100 68장 클러스터를 빌려 테스트할 팀이 나타날지가 첫 관문이다.
그때까지 vLLM·SGLang으로 충분하다는 게 현재 기준이다.

딥시크가 연 문은 '모델'이 아니라 '운영 노하우'다. 문은 열렸지만, 열쇠(H100 68장)는 여전히 비싸다.