직원 몇 명과 AI가 4개월 만에 만든 모델 — 톈위안둥 회사 첫 작품, 맥북에서 초당 125토큰
직원 몇 명과 AI가 4개월 만에 언어모델 하나를 처음부터 만들었다. 데이터 처리, 학습 방법, 인프라, 추론 최적화까지 AI 연구 시스템이 거의 다 손댔다.
메타 FAIR 출신 톈위안둥이 공동창업한 Recursive의 첫 모델 Flint다. 파라미터 400억 개짜리인데 M4 Pro 맥북에서 초당 125토큰, 12GB 그래픽카드 RTX 3060에서도 초당 46토큰이 나온다. 즈후 반응: "그럼 그 AI 연구 시스템은 무슨 모델로 돌렸나."
출처: 지치즈신 10/22, 즈후 10/22
모델
Flint-40B-A2B는 전문가 혼합(MoE) 구조로, 총 파라미터 400억 개 중 토큰 하나에 25억 개만 쓴다. 가중치는 Apache 2.0으로 허깅페이스에 공개했다. 지치즈신에 따르면 SWE-Bench Pro v2, Terminal-Bench 2.1, SWE-Bench Verified에서 총 파라미터 500억 개 미만 MoE 모델 중 가장 높고, 250억~400억 개 밀집 모델과 코딩 점수가 비슷하면서 속도는 5배 이상이다. 맥용 경량 추론 엔진 rec도 함께 공개했다.
개발자 실측도 올라왔다. 64GB M5 Max 맥북에서 초당 114~132토큰, RTX 3060 12GB에서 컨텍스트 25만 6천 토큰으로 초당 46토큰이다.
AI가 한 일
Recursive의 자동 연구 시스템 Eureka Machine이 이 모델 개발 거의 전 과정에 들어갔다. 아이디어를 내고, 구현하고, 테스트하고, 결과를 보고 다음에 뭘 할지 정하는 일을 스스로 반복한다. 지치즈신 기사에 따르면 이번엔 세 단계에 들어갔다.
- 구조: 총 350억·활성 30억에서 시작해 여러 설정을 시험한 끝에 총 400억·활성 25억을 골랐다.
- 양자화: 보통은 건드리지 않는 출력층까지 4비트로 줄이고, 16비트 모델을 선생으로 다시 가르쳤다. 학습 단계는 절반으로 줄었고 점수 차이는 0.7점 이내다.
- 커널: M4·M5 칩에서 디코딩 계산 전체를 커널 하나로 합쳤다.
즈후 반응
14표 답변: "몇 명이 AI와 4개월 만에 새 모델을? 그럼 Eureka Machine 안에선 무슨 모델이 돌았나. 닭이 먼저냐 달걀이 먼저냐다. Flint가 아니라 Eureka Machine이 이 회사의 진짜 무기다." 이 답변은 마지막에 "Eureka Machine은 오픈소스로 안 푸나"라고 물었다.
한 칼럼 제목은 이랬다. "AI가 만든 첫 모델, 유일하게 안 밝힌 건 사람을 몇 명 아꼈느냐다."
회사
Recursive는 올해 5월 출범했다. AI가 AI를 개선하는 '재귀적 자기 개선'을 목표로 내걸었고, 실리콘밸리101 인터뷰에 따르면 기업가치는 46억 5천만 달러다.