DeepSeek V4, 4토큰마다 돌아오는 맹점
문제는 그대로, 앞에 '=' 몇 개만 붙였다. DeepSeek V4가 맞히던 문제를 틀렸다.
바이트댄스 연구진 논문에 따르면 V4는 긴 글을 아끼려고 4토큰씩 묶어 압축해 기억한다. 같은 정보라도 묶음의 어느 자리에 걸리느냐에 따라 잘 찾기도, 놓치기도 한다. 위치만 바꿔 같은 걸 찾게 하자 정답률이 최대 40%포인트 차이 났다. 평균 점수로는 보이지 않는 차이다.
출처: arXiv 9/28, 즈후 10/8
압축 경계와 위상
바이트댄스 Seed 소속 연구진 8명이 9월 28일 arXiv에 올린 논문 "Periodic Weak Spots"는 KV 캐시를 덩어리 단위로 압축하는 모델을 다룬다. 긴 문맥의 메모리를 줄이려고 연속 토큰 여러 개를 캐시 항목 하나로 묶는 방식이다. 묶음은 S토큰마다 새로 시작되므로 각 토큰에는 위치를 S로 나눈 나머지라는 좌표가 생긴다. 논문은 이를 위상이라 부른다. 입력을 몇 토큰 밀면 내용은 그대로인데 어떤 토큰끼리 같이 압축되는지가 바뀐다.
논문에 따르면 DeepSeek V4의 압축 희소 어텐션은 보폭 4, V4.1-Flash는 보폭 2다. V4는 멀리 있는 토큰을 압축된 형태로만 보고, 원래 토큰은 가까운 창 안에서만 유지한다.
코드 완성 예시
연구진은 DeepSeek-V4-Flash-Base에게 DeepSeek V4 공식 추론 코드의 한 줄을 이어 쓰게 했다. 정답은 "8"이다. 코드 앞에 장식용 주석을 붙이고 등호 개수만 바꿔 길이를 24~39토큰으로 늘리자, 길이를 4로 나눈 나머지가 2·3일 때는 "8", 0·1일 때는 오답 "32"를 1순위로 골랐다. 코드는 한 글자도 바뀌지 않았다. 압축을 쓰지 않는 DeepSeek-V3.1-Base는 같은 입력 64개 중 4개에서만 "32"를 앞세웠고 그 차이도 작았다.
12.8만 토큰 검색 시험
12.8만 토큰 문맥에 키-값 1.6만 쌍을 넣고 가운데쯤 있는 키의 값을 묻는 시험이다. 답이 놓인 위치를 8로 나눈 나머지로 그룹을 나누고, 문맥 길이와 질문 위치, 답의 평균 위치는 그룹마다 같게 맞췄다.
| 모델 | 최고 그룹 | 최저 그룹 | 차이(%p) |
|---|---|---|---|
| V4-Flash-Base | 69.92 | 29.69 | 40.2 |
| V4-Pro-Base | 91.02 | 56.25 | 34.8 |
| V4-Flash-0731 | 99.61 | 80.47 | 19.1 |
| V4-Pro-0813 | 92.19 | 77.34 | 14.8 |
| V4.1-Flash | 95.31 | 89.22 | 6.1 |
후학습을 거치면 정확도가 오르고 차이가 줄지만, 논문은 V4 후학습판의 차이도 여전히 크다고 썼다. V4.1-Flash는 차이가 가장 작은데, 짝수 위치 네 그룹이 모두 홀수 위치 네 그룹보다 높다.
소형 모델 재학습 실험
연구진은 Qwen3-0.6B 구조에 KV 압축만 넣은 모델들을 처음부터 학습시켰다. KV 헤드 8개 기준으로 압축 없는 모델과 8토큰 압축 모델의 평균 정확도는 61.1%와 59.4%로 비슷했다. 최저 그룹은 58.4%와 9.9%, 최고·최저 차이는 4.3과 71.1%p였다.
압축 모델은 모두 보폭과 같은 주기를 보였다. 보폭 4·6·8이면 주기도 약 4·6·8토큰, 12토큰 창·12토큰 보폭이면 약 12토큰이다. 위치 인코딩(RoPE)을 빼도, 학습되는 가중치 대신 단순 평균으로 압축해도 주기는 남았다. 압축 없는 기준 모델의 차이는 최대 6.1%p였다.
논문은 어텐션 헤드마다 잘 기억하는 위상이 갈린다는 개입 실험 결과도 냈다. 다만 대형 모델에서 이것이 보편적 원인이라고는 주장하지 않으며, 경계 위치의 약점까지 한 번에 설명하는 원리는 미해결로 남겼다.
즈후 반응
이 논문을 다룬 즈후 질문은 10월 8일 인기 1위에 올랐고 조회는 약 30만이다. 가장 많은 찬성(약 620)을 받은 답변은 "코드 앞에 의미 없는 토큰 두 개만 더 붙여도 같은 설정값을 못 찾는다"는 예로 설명했다. 약 210개 찬성을 받은 답변은 V4가 잘할 때와 엉뚱한 답을 낼 때가 갈리던 이유를 찾았다고 평했고, 고정 보폭으로 자르는 방식이면 주기를 줄일 수는 있어도 없앨 수는 없다고 주장했다. 질문 제목의 '성능 표류'는 쓰다 보면 떨어진다는 뜻이라 맞지 않고 '입력 위치 민감성'이 정확하다는 지적도 있었다. "국내 업체끼리 서로의 오픈 모델을 시험해 문제를 찾는 것이 반갑다"는 답변은 약 140개 찬성을 받았다.
위상별 측정 권고
논문 결론은 압축 모델을 평가할 때 평균 정확도만으로는 부족하고, 질문한 정보는 그대로 둔 채 입력을 몇 토큰씩 밀어 위상별로 측정해야 한다는 것이다. 연구진은 의미가 같은 요청을 문맥 안에서 몇 토큰 옮겼을 때 거절·응답 여부까지 위상에 따라 바뀌는지는 후속 과제로 남겼다.