2026-10-06 · 2026-10-06 전체

12GB 그래픽카드로 125B 모델 — Strata

중국 개발자 커뮤니티에서 이번 주 가장 뜨거운 오픈소스는 Strata다. 125B MoE 모델 Qwen3.8-Flash-Next를 VRAM 12GB에 RAM 64GB로 돌린다. 공식 수치는 RTX 5070에서 초당 93토큰.

자주 불리는 전문가만 VRAM에 두고, 나머지는 RAM에서 CPU가 계산한다. 비리비리 소개 영상은 8.9만 뷰, 댓글 1,404개. 실측 후기가 줄줄이 달렸다.

7900XTX로 직접 돌린 즈후 보고서는 긴 문서 읽기가 공식치의 3분의 1이었다. 전문가 절반을 자른 Coder 판은 중국어 10문제를 모두 틀렸다. 댓글은 RAM 용량을 묻는 질문으로 채워졌다.

출처: 비리비리, 즈후, V2EX, 위챗 9/29-10/5

Strata가 하는 일

Strata는 개인 깃허브 저장소(Niko1221/Strata)로 공개된 추론 엔진이다. 범용 엔진이 아니라 알리바바 Qwen3.8-Flash-Next 한 모델만을 위해 만들었다.

• 모델 구조: 125B 본체, 51B n-gram 조회 테이블, 4B MTP 헤드. 48층에 층마다 전문가 512개가 있고, 토큰 하나에 10개만 쓴다
• 배치: 자주 불리는 전문가는 VRAM, 전체 전문가는 시스템 RAM, n-gram 테이블은 SSD. VRAM에 없는 전문가는 CPU가 RAM에서 바로 계산하고, GPU와 CPU가 서로 기다리지 않는다
• MTP 헤드로 몇 토큰을 먼저 추측한 뒤 한꺼번에 검증한다. 공식 설명은 1.6-1.8배 가속
• 내부는 llama.cpp와 GGUF 포맷이다. OpenAI 호환 API와 Anthropic Messages API를 둘 다 열어 코딩 에이전트에 바로 붙는다
• 설치 스크립트가 그래픽카드와 메모리를 감지해 양자화 버전을 고른다. 모델 다운로드는 약 70GB

공식 README 기준 RTX 5070 12GB, 라이젠 5 7600, RAM 64GB에서 생성 초당 93토큰, 3.2만 토큰 프롬프트 읽기 초당 2,170토큰이다.

비리비리 댓글의 실측

AI관모자 채널 소개 영상(10월 2일)은 8.9만 뷰, 추천 4,641, 즐겨찾기 1만을 넘겼다. 댓글은 대부분 자기 장비로 돌린 숫자다.

• 5070Ti 16GB와 RAM 48GB, 2비트 양자화: 생성 초당 70-85토큰, 읽기 1,500-2,000토큰
• 4080 노트북 12GB와 RAM 64GB, 3비트 양자화: 초당 40토큰, 컨텍스트 256K
• 2080Ti 22GB 개조판과 RAM 64GB: 초당 60토큰 이상
• 5060Ti 16GB와 T10 두 장: 보정 후 초당 42-56토큰. 10만 토큰 프롬프트를 58초에 읽었다

반론도 실측으로 나왔다. "4비트 아래로 양자화하면 품질이 무너지고 루프에 빠진다"(12추천), "2비트는 침을 흘린다, 3비트 이상을 써라"는 댓글이 이어졌다. "RAM 32GB는 애매해졌다, 메모리 값이 또 오른다"는 반응도 많다.

7900XTX 독립 평가

즈후 사용자 OPEN-HMI는 AMD 7900XTX, 제온 E5-2696 v4, RAM 62GB에서 모델을 내려받고 엔진을 직접 빌드해 사흘간 돌렸다. 결론은 "기술은 진짜, 선전 숫자는 부풀려졌다"다.

• 생성 속도는 공식 55보다 빠른 62였다. 긴 문서 읽기는 공식 2,180의 3분의 1인 687이었다. 다섯 번 반복해 편차 0.26%
• 전문가 절반을 잘라낸 Coder 판은 중국어 질문 10개를 모두 틀렸다. 원판 2비트는 10개를 모두 맞혔고 더 빨랐다(초당 79)
• 가장 빠른 2비트 판은 AVX-512가 없는 CPU에서 아예 켜지지 않는다. 문서에는 "조금 느릴 뿐"이라고 적혀 있다
• README의 "초당 60-95토큰"은 세 버전의 수치를 이어 붙였다. 최신판으로 재측정한 25칸 범위는 43-93이었다
• 한편 공식 설계 수치 네 개(전문가 상주량 34GB, 토큰당 경로 데이터 0.66GB 등)는 재계산해 모두 맞았다

다른 즈후 칼럼(74추천) 계산으로는 5070 12GB와 DDR5 64GB를 사면 그래픽카드와 메모리만 1.6만 위안이다.

왜 중요한가

전문가를 CPU로 내리는 방식은 llama.cpp와 KTransformers에도 있었다. Strata는 이 모델 하나에 맞춰 조정했고, 설치 스크립트가 하드웨어 감지부터 양자화 선택까지 처리한다. 비리비리 두 영상의 댓글 대부분은 "RAM 48GB로 되나", "32GB는 안 되나" 같은 용량 질문이다.

댓글에 "GB10(DGX Spark)에서 되나"라는 질문이 있고, 영상 작성자는 "완전히 된다"고 답했다. 128GB 통합 메모리라면 4비트 판까지 올라간다. 속도 숫자는 아직 올라오지 않았다.