라마씨피유 프롬프트 조회 140배 빨라졌다…일반 PC 추론 속도 획기적 개선

병목이 뚫렸다: 140배 가속의 내막

오픈소스 추론 엔진 llama.cpp에서 프롬프트 조회 디코딩 속도가 최대 140배 빨라졌다. 개발자 자디드 부르바키가 9월 26일 공개한 최적화로 42배, 여기에 대니얼 르미어가 추가 PR로 4.2배를 더한 결과다. 메모리 사용량도 최대 2.6배 줄었다.

레딧 r/LocalLLaMA에서 412표, 107개 댓글이 달렸다. 해커뉴스에서도 23표, 2개 댓글을 받았다.

캐시 구조는 그대로, 연산만 덜었다

라마씨피유는 세 가지 **n-그램 캐시(연속된 토큰 묶음 빈도표)**를 쓴다.

• 문맥 캐시: 현재 처리 중인 토큰의 1~4그램 저장
• 동적 캐시: 이전 실행 대화의 n-그램 누적
• 정적 캐시: llama-lookup-create로 만든 고정 말뭉치 2그램

이전에는 매 토큰마다 전체 어휘를 돌며 점수를 매겼다. 이번 최적화는 **"단순 성능 최적화"**로 불필요한 계산을 걷어냈다. 자료구조를 바꾼 게 아니라, 같은 일을 더 적은 연산으로 끝내게 만들었다.

쉽게 풀어보면

자디드 부르바키가 llama.cpp의 프롬프트 조회 기능을 140배 빠르게 만들었다. 이 기능은 앞서 나온 말뭉치를 보고 다음 말을 짐작해 미리 생성해두는 기술이다. 맞으면 그대로 쓰고, 틀리면 버린다. 맞출 확률이 높으면 전체 속도가 빨라진다.

n-그램(연속된 단어 묶음) 빈도를 색인처럼 쓰는데, 이전에는 도서관에서 책을 한 권씩 뽑아보며 찾던 식이었다. 이번에 색인 카드로 한 번에 찾는 수준으로 바꾼 셈이다. 메모리도 2.6배 덜 먹는다.

본지가 확인하지 못한 부분: 듀얼 RTX 3060에서 7B14B 모델이 초당 2030토큰 나온다는 벤치마크는 이번 자료에 없다. 실사용 속도는 모델·하드웨어·캐시 적중률에 따라 달라진다. 레딧 댓글에서 "이게 정말 작동하나"라는 의심이나 "내 3060에서도 되나" 같은 질문, 16GB 램 맥북에서 14B 모델이 돌아간다는 보고는 제공된 자료에서 확인하지 못했다.

나에게 미치는 영향

챗GPT 구독 없이 내 PC에서 돌리고 싶다면 지금이 기회다. 라마씨피유 최신 버전(b11182 이후)을 받아서 --prompt-lookup 옵션만 켜면 된다. 별도 설정 필요 없다.

이미 llama.cpp 쓰는 사람이라면 업데이트만으로 속도 체감이 가능하다. 모델 다시 받을 필요 없다. 정적 캐시(llama-lookup-create)를 직접 만들면 코딩·번역 같은 반복 작업에서 효과가 더 크다.

맥북 M시리즈 사용자도 해당된다. 메모리 절감 효과가 큰 덕분이다. 클로드나 제미나이 같은 클라우드 서비스에서 답이 이상하면, 같은 질문을 로컬 모델로 다시 돌려보는 습관을 들이기 좋다.

남은 건 검증

발표 수치(140배)는 벤치마크 환경 기준이다. 실제 채팅에선 캐시 적중률에 따라 체감 배수가 달라진다. 르미어 PR은 아직 메인 브랜치 병합 전이다. 병합 시점은 미정.

또 하나. 해커뉴스 스레드에 개발자 간 갈등 정황이 있다. 부르바키가 "대인관계 이슈로 PR이 지연될 수 있다"고 썼다. 오픈소스 프로젝트에서 흔한 일이지만, 병합 일정에 변수가 될 수 있다.

이 기술이 건드릴 것들

로컬 추론이 빨라지면 첫 번째로 코딩 어시스턴트가 바뀐다. 깃허브 코파일럿 구독 없이 VS코드에서 돌리는 개발자가 늘 것이다. 번역·요약·문서 작성 같은 반복 텍스트 업무도 로컬로 넘어온다.

다만 추론 품질 자체는 안 변한다. 빨라진 건 "맞추기" 속도뿐, 모델 지능은 그대로다. 틀린 짐작을 더 빨리 버리는 것뿐이니, 검증 없이 쓰면 안 된다.

본지가 30일 전 다룬 퀸 3.8 플래시 넥스트, 라마씨피유 합류로 듀얼 3060에서도 실행 확인 기사에서 "실사용 속도 확인"이라 쓴 대목이 있다. 이번 최적화는 그 실사용 임계점을 더 낮춘 것으로 보인다.