엔비디아, 30B 파라미터 음성 인식 모델 오픈 공개… 단일 칩에서 40개 언어 처리

엔비디아가 음성 인식 모델을 오픈 가중치로 풀었다

엔비디아가 10월 28일 네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)를 공개했다. TechCrunch 보도에 따르면 전체 300억 파라미터 모델이다.

MarkTechPost에 따르면 추론 시 약 40억 개만 활성화되는 MoE(Mixture of Experts, 전문가 혼합) 구조다. 40개 언어 전사, 31개 언어 양방향 번역(영어 기준), 최대 1시간 녹음 처리, 최대 8명 화자 분리가 가능하다고 밝혔다. 허깅페이스 오픈 ASR 리더보드에서 경쟁 모델을 앞선다는 주장도 덧붙였다(TechCrunch).

중요한 제약은 실시간 스트리밍을 지원하지 않는다는 점이다. 녹음된 오디오 파일만 처리한다. 회의록이나 의료 기록 같은 사후 처리용에 맞춰져 있다.

경쟁사 발표와 나란히 놓으면 차이가 뚜렷하다

같은 주에 세 건의 음성 모델이 더 나왔다. 초점이 다르다.

• 미스트랄 Voxtral 3: 클라우드 API 중심
• 일레븐랩스 Realtime: 실시간 스트리밍·음성 에이전트용
• 세일즈포스 Launa-Omni: 음성 모델 통합

엔비디아 모델은 로컬 실행과 개발자 커스터마이징을 전면에 내세운다. 네모 툴킷(NeMo Speech)과 그레너리 v2(Granary v2) 데이터셋까지 함께 공개해, 개발자가 의료·법률·제조 같은 전문 용어를 각 언어에 맞게 파인튜닝할 수 있게 했다. 클라우드 종속 없이 온프레미스에서 돌리려는 기업 수요를 겨냥한 포석으로 읽힌다. 이 대목이 걸린다. 클라우드 API 경쟁사가 "우리 서버로 보내라" 할 때, 엔비디아는 "네 서버에서 돌려라"는 쪽을 택했다.

단일 칩 실행, 어떤 하드웨어에서 되나

엔비디아 발표에 따르면 다음 세 환경에서 단일 칩으로 구동된다(TechCrunch).

• 제트슨 AGX 토르(Jetson AGX Thor) 로봇 컨트롤러
• DGX 스파크(DGX Spark) 노트북 칩
• 블랙웰(Blackwell) 데이터센터 칩

소비자용 GPU 사양은 따로 명시하지 않았다. RTX 3090/4090(24GB VRAM)급이면 4B 활성 파라미터 추론이 가능할 것으로 보이나, 공식 지원 여부는 본지가 확인하지 못했다. 파라케이트(Parakeet, 1.1B 파라미터) 같은 초소형 모델도 함께 제공해, 용도에 따라 골라 쓰라는 구조다(MarkTechPost).

한국어 사용자에게 의미하는 바

한국어가 40개 지원 언어와 31개 번역 언어에 포함되는지는 원문에서 언어 목록을 공개하지 않아 본지가 확인하지 못했다. 영어 중심 학습 데이터 비중이 클 경우, 한국어 전문 용어 인식률은 파인튜닝 없이는 기대에 미치지 못할 수 있다.

국내 기업이 회의록·진료 기록 자동화에 쓰려면 그레너리 v2 데이터셋에 한국어 코퍼스를 섞어 추가 학습시키는 과정이 사실상 필수다. 클라우드 API와 비교할 때 데이터 유출 우려 없이 사내 서버에서 돌릴 수 있다는 점이 장점으로 꼽히나, 구체적 비교 우위 수치는 본지가 확인하지 못했다.

쉽게 풀어보면

엔비디아가 음성을 텍스트로 바꿔주는 AI 모델을 누구나 무료로 공개했다. 이름은 네모트론 3.5 트랜스크라이브. 뇌세포 300억 개짜리 모델인데, 실제 일을 할 때는 40억 개만 깨워서 쓴다(MoE 방식). 그래서 성능 좋은 그래픽카드 한 장, 혹은 로봇·노트북에 들어가는 칩 한 개만으로도 돌아간다.

지원 언어는 40개. 영어 포함 31개 언어는 서로 번역도 해준다. 녹음 파일 하나에 최대 1시간까지 넣을 수 있고, 화자 8명까지 누가 말했는지 구분해준다.

단, 실시간으로는 안 된다. 라이브 방송 자막용이 아니라, 녹음해 둔 회의·진료·강의 파일을 나중에 텍스트로 푸는 용도다. 개발자라면 네모 툴킷이란 도구로 우리 회사 전문 용어(의학 용어, 법률 용어, 공장 용어 등)를 모델에 가르칠 수 있다.

경쟁사들이 클라우드에서 "우리 서버로 보내면 텍스트로 돌려드림" 식인 반면, 이건 내 서버·내 컴퓨터에서 완결된다. 환자 기록, 기밀 회의 내용이 밖으로 나갈 걱정 없다.

나에게 미치는 영향

직장인(회의록 자동화 담당)
사내 GPU 서버가 있다면 이 모델을 올려 회의 녹음 파일을 일괄 변환해 보세요. 클라우드 API 요금이 안 나가고, 보안 결재도 더 쉽습니다. 실시간 자막은 안 되니 회의 끝난 뒤 돌리는 용도로만 쓰세요.

의료·법률 종사자(기록 정리하는 실무자)
전문 용어 인식이 약할 수 있습니다. 그레너리 v2 데이터셋에 우리 분야 한국어 녹음-텍스트 쌍을 섞어 파인튜닝하면 정확도가 크게 오릅니다. 네모 툴킷 문서를 참고해 보세요.

학생·연구자(음성 AI 공부하는 사람)
허깅페이스에서 가중치 내려받아 로컬에서 돌려보세요. 4B 활성 파라미터면 RTX 3090/4090(24GB)급에서도 추론이 될 가능성이 있습니다. MoE 구조가 어떻게 추론 비용을 아끼는지 직접 확인하기 좋은 교보재입니다.

자영업자(고객 상담 녹음 분석하려는 사장님)
직접 돌리기엔 엔지니어링 부담이 큽니다. 이 모델을 탑재한 국내 SaaS(클로바노트, 액션파워 등)가 나올 때까지 기다리는 게 현실적입니다. "온프레미스 STT" 키워드로 문의해 보세요.

남은 건 검증이다

벤치마크 점수는 제조사 발표다. 독립된 서드파티 테스트, 특히 **한국어 실사용 환경(잡음, 사투리, 전문 용어 섞임)**에서의 성능은 아직 모른다. 실시간 미지원, 소비자 GPU 공식 지원 미명시, 한국어 벤치마크 부재 — 이 세 가지가 현장 도입 전 확인해야 할 체크리스트다.

엔비디아가 오픈 가중치로 푼 건 환영할 일이다. 다만 "다운로드만 하면 바로 쓴다"는 기대는 접어두는 게 좋다. 파인튜닝 파이프라인까지 갖춰야 비로소 현장용이 된다. 파인튜닝 없이는 현장 투입이 어렵다.