· 2026-10-06 전체

결정 모델 Jev — 중국 커뮤니티의 실측과 반박

미국 TypeSafe의 결정 모델 Jev는 문장을 쓰지 않고 선택지에 확률만 매긴다. 출시 3주 만에 중국 커뮤니티에 실측과 반박이 쌓였다.

즈후 290추천 실험에서는 미로 찾기에서 순수 난수가 Jev를 이겼다. 2,306스텝 중 2,295스텝을 한 모서리에서 보냈다. V2EX 퀀트 백테스트는 BTC AUC 0.47-0.50, 수수료를 빼면 손실이었다.

오픈소스 복제판 Open-Jev 9B는 공개 231문제에서 77.5%, 원본은 86.6%. 결론은 "플래너가 아니라 한 스텝 판단기"다.

출처: 즈후, V2EX, 즈커 9/18-10/4

Jev가 하는 일

TypeSafe가 9월 15일 공개한 Jev는 "시스템 1 모델"을 표방한다. 앱이 현재 상태와 미리 정한 질문을 넘기면, 선택지마다 확률을 붙여 돌려준다. 다지선다(Choice), 예/아니오, 등급 점수 세 형식이다. 생성 모델보다 200배 빠르고 400배 싸다는 게 회사 주장이다. 9월 29일 OpenAI가 비슷한 Decisions API를 내놓으면서 "결정 모델"이 한 범주가 됐다.

미로에서 난수에 지다

즈후 질문 "네티즌이 두 시간 만에 Jev 효과를 재현했다는데"(12.6만 뷰)에서 개발자 Karminski가 미로 찾기 대결 환경을 만들었다(290추천).

같은 질문의 다른 답변: "보정(calibration)은 통계적 성질이지 모델 능력이 아니다"(229추천). "보정은 사후 지표다. 0.9가 새 업무에서 열에 아홉 맞는다는 보장이 없다"(32추천). "점수형은 회귀가 아니라 분류다. 등급별 확률로 가중평균해야 한다"(82추천).

백테스트와 게임

복제판

즈후 칼럼(태평양의 물)은 "합법적 구조와 확률이 나왔다는 건 인터페이스가 돌아갔다는 뜻일 뿐이다. 맞게 골랐는지는 따로 재야 한다"고 썼다.

왜 중요한가

출시 3주 동안 중국 커뮤니티에 미로 실험, 백테스트, 복제판 점수가 올라왔다. 답변들이 꼽은 쓸 자리는 의도 분류, 모델 라우팅, 검색 결과 필터처럼 한 번 판단하고 끝나는 일이다. 여러 스텝을 계획하는 일은 아니다. 즈후 恋猫 답변(115추천)은 "대기업이 못 만든 게 아니라 API 매출이 줄어서 안 만든 것"이라며, 이제 각사가 자기 결정 모델을 낼 것이라고 봤다.

출처