잭 도시의 블록, 텍스트 없이 음성만으로 배운 AI '데사' 공개

블록이 만든 '데사', 텍스트 없이 음성만으로 대화한다

잭 도시가 이끄는 핀테크 기업 블록(Block)이 새로운 AI 음성 모델 '데사(Dessa)'를 발표했다. 핵심은 학습 데이터에 텍스트가 전혀 없다는 점이다. 인간의 대화 음성만 듣고 언어와 감정, 대화 타이밍까지 익혔다.

블록 측은 "아기가 글자를 본 적 없이 말을 배우는 방식"을 모방했다고 설명한다. 기존 음성 AI는 음성을 텍스트로 변환(STT)하고, 텍스트로 생각한 뒤 다시 음성으로 합성(TTS)하는 3단계를 거친다. 이 과정에서 억양, 웃음, 한숨, 말더듬 같은 비언어 정보가 사라진다.

데사는 오디오 입력을 바로 오디오로 출력하는 진정한 음성-음성 모델이다. 블록 블로그에 따르면 "텍스트로 변환하면 그 모든 정보가 사라진다"며 이것이 기존 음성 AI가 어색한 근본 이유라고 지적한다.

데모에서 드러난 장점과 어색함

블록이 공개한 데모 영상들을 보면 특징이 명확하다. 상대방 말이 끝나기를 기다리지 않고 실시간으로 듣고 동시에 말한다(풀듀플렉스, 전이중 통신). "응", "아 그렇구나" 같은 백채널(backchannel, 상대방 발화 중 짧은 반응) 리액션을 적절히 섞는다.

웃음도 상대가 웃는 중에 자연스럽게 터뜨린다. "소리 키워줘"라고 하면 즉시 볼륨을 키운다. 아무도 가르치지 않았는데 스스로 익힌 행동이다.

반면 어색한 순간도 있다. 데사 리드 라가반 투라이라트남과의 대화에서 모델이 그를 '로날도'로 착각하는 장면이 나온다. 크리스토퍼 놀런 영화 얘기를 하다 브라이언 싱어의 슈퍼맨 영화로 갑자기 튀는 모습도 보인다. 블록 스스로 "가끔 어색하고 언캐니(uncanny, 기묘한)할 수 있다"고 인정했다. 이 대목이 걸린다. 이름 착각과 주제 튀기는 텍스트 없는 학습의 한계일 수 있다.

로컬 실행 가능, 하지만 하드웨어 장벽은 높다

데사는 맥북 프로 M4 맥스 이상에서 로컬로 돌아간다. 인터넷 연결 없이도 작동한다는 뜻이다. 프라이버시 민감한 사용자에겐 매력적이다. 학습 역시 엔비디아 GB200 NVL72 단 한 대로 끝냈다고 밝혔다.

블록은 "소수의 AI 안전 연구자들에게만 우선 접근권을 주겠다"고 밝혔다. 공개 일정이나 API 제공 계획은 아직 공개되지 않았습니다.

기존 음성 AI와 무엇이 다른가

구분	기존 음성 AI (GPT-4o 음성 등)	데사
학습 데이터	텍스트 + 음성 (사전학습 LLM 기반)	음성만 (텍스트 제로)
처리 방식	STT → LLM → TTS 3단계	오디오 직접 입출력
감정 이해	텍스트 기반 추론	음성 신호에서 직접 감지
대화 타이밍	턴베이스(차례대로)	풀듀플렉스(동시 청취/발화)
실행 환경	클라우드 중심	로컬(M4 맥스 이상) 가능

경쟁사인 오픈AI의 GPT-4o 음성 모드(어드밴스드 보이스)와 비교 데모도 있다. 블록은 데사가 더 자연스럽다고 주장하지만, 데모상으로는 서로 장단점이 엇갈린다. 단정하기엔 자료가 얇다.

안전성 논리: "아픔을 모르는 AI는 위험하다"

블록이 내세운 3가지 개발 동기 중 하나가 안전성이다. "심각한 고통을 호소하는데 음성 AI가 전혀 모른 채 계속 말한다면 위험하다"는 것이다. 텍스트 기반 모델은 목소리 떨림, 숨소리, 신음 같은 긴급 신호를 놓친다. 데사는 이런 비언어 신호를 네이티브하게 감지한다.

이 주장은 설득력이 있다. 다만 감정을 '안다'고 해서 '적절히 대처한다'는 보장은 없다. 감정 인식과 안전 대응은 별개 문제다. 블록도 "첫걸음"이라고 표현했다.

쉽게 풀어보면

블록이 만든 데사는 책 한 권 안 읽고 수만 시간 사람 대화만 듣고 말하기 배운 AI다. 우리가 외국어 배울 때 교과서 대신 현지인들과 떠들면서 익히는 것과 비슷하다.

기존 AI 비서들은 네 말을 텍스트로 바꿔서 생각하고 다시 소리로 뱉는다. 이 과정에서 네 목소리가 화났는지, 웃는지, 망설이는지 다 날아간다. 데사는 소리 자체를 통째로 이해한다. 네 말이 끝나기도 전에 "응" 하고 맞장구치고, 농담하면 중간에 같이 웃는다.

맥북 프로 M4 맥스만 있으면 인터넷 없이 네 컴퓨터 안에서만 돌아간다. 네 목소리가 서버로 안 간다. 단, 그 비싼 맥북이 있어야 한다. 학습엔 엔비디아 GB200 NVL72 한 대가 들었다.

아직은 연구용이다. 일반인은 써볼 수 없고, 안전 연구자 일부만 만져본다. 데모에선 사람 이름을 틀리거나 엉뚱한 소리를 하기도 한다. '완성품'이 아니라 '가능성을 증명한 프로토타입'에 가깝다.

나에게 미치는 영향

맥북 프로 M4 맥스 보유자라면 향후 로컬 음성 AI 실행 환경이 열릴 가능성을 확인해 두세요. 당장은 데사 접근이 안 되지만, 블록 블로그(dessa.block.xyz)의 데모 클립을 들어보며 차이를 체감할 수 있습니다.

일반 챗GPT·제미나이 음성 사용자는 "텍스트를 거치지 않는 음성 AI"가 어떤 차이를 만드는지 영상으로 비교해 보세요. 지금 쓰는 서비스에서 답이 이상하면 같은 질문을 새 대화창에서 다시 던져보는 습관도 도움이 됩니다.

프라이버시 민감 사용자에겐 클라우드 의존도를 낮춘 음성 AI 흐름의 시작점이 보입니다. 온디바이스(기기 내 실행) 음성 비서 경쟁이 본격화될 신호로 읽힙니다.

개발자·연구자는 텍스트 없는 음성 사전학습(pre-training, 처음부터 학습) 방법론 논문과 코드 공개 여부를 주시하세요. 블록 블로그에 기술 세부 사항 일부가 기재돼 있습니다.

남은 쟁점

공개 범위 확대 시점은 미정입니다. "소수 연구자" 다음 단계가 언제, 누구에게 열릴지 알 수 없습니다. 한국어 지원 여부도 불투명합니다. 데모는 영어만 공개됐고, 다국어 학습 효율이 텍스트 기반 대비 어떤지 확인된 바 없습니다.

사실 지식 습득 한계도 짚어야 합니다. "소리만으로 사실 지식도 익혔다"지만, 전문 지식·최신 정보 갱신 메커니즘은 불투명합니다. 상용화 모델 역시 API 유료화·온프레미스 라이선스·오픈소스 중 어떤 길을 택할지 아직 발표되지 않았습니다.

이전 기사와 연결되는 지점

본지가 46일 전 다룬 AI에게 글쓰기를 맡기면 내 생각이 사라질까에서 '텍스트 매개 없이 생각하기' 문제가 제기됐다. 데사는 음성 영역에서 그 문제를 정면으로 돌파하려는 시도다. 텍스트라는 필터를 걷어내면 AI가 인간을 더 잘 이해할까, 아니면 더 예측 불가해질까. 데사의 어색한 데모는 그 질문에 대한 현재 답변이다.