EP 95: DeepSeek-V4 — Sparse Attention 정면 돌파와 프론티어의 프론티어

생각 덩어리

2026년 4월 마지막 주 — GPT-5.5보다 중요한 소식

이번 주에 굵직한 소식들이 많았습니다. 구글 클라우드 넥스트가 열리고 있고, 소문이 무성하던 GPT-5.5가 드디어 나왔습니다. 성능은 그야말로 넘사벽이고요. 그런데 무엇보다도 중요한 소식은 DeepSeek-V4 출시일 것 같아요.

중국의 프론티어 랩들이 심상치 않아요. 저희가 인지하고 있는 것만 거의 5개 정도 되는 것 같습니다. DeepSeek과 Kimi, GLM으로 유명한 Z.ai, 그 유명한 Yao Shunyu가 최근에 텐센트로 이전해서 Hy3을 만들었고, 또 DeepSeek에서 혁혁한 공을 세웠던 어떤 분이 샤오미로 넘어가서 MiMo라는 프론티어 모델을 내놨죠.

DeepSeek이 드디어 R1 이후로 거의 1년 4개월 만에 V4를 들고 나왔습니다.

Pre-training은 따라잡았다 — 중국 랩 지형 속 DeepSeek의 위치

DeepSeek에서 샤오미로 옮겨서 지금 LLM을 리딩하고 있는 유명한 Luo Fuli가, 중국이 아마 pre-training 측면에서 미국을 따라잡았거나 혹은 어쩌면 기술적으로 더 나은 부분도 있을 것이라는 얘기를 했었는데, 그것의 정점을 보여주는 사례가 DeepSeek-V4가 아닐까 싶습니다.

동시에 DeepSeek-V3가 중국 내 많은 프론티어 모델의 base가 되었거든요. ... 아마 앞으로 나오는 중국 모델들의 새로운 base model이 되지 않을까 하는 생각도 듭니다.

이 리포트가 보여주는 건, DeepSeek 팀이 지난 1년 동안 엄청난 고생을 했구나, 굉장히 고통스러운 과정을 거쳐 왔구나 하는 점이 많이 드러난다는 것입니다.

600B에서 1.6T로 — 연산 27%·메모리 10%의 한 방

DeepSeek-V3는 작은 모델이 없었죠. 600B 정도의 모델이었는데 1.6T 모델로 커졌고요.

Pro 기준으로도 토큰 연산에 들어가는 연산량이 27% 정도로 줄었다, 거의 3분의 1이 된 거죠. 그리고 메모리 소비량은 10분의 1이 됐네요. 10%로 줄었다. 이 두 개의 그래프가 보여주는 게, DeepSeek-V4가 이번에 보여준 진짜 큰 한 방이지 않을까 하는 생각이 듭니다.

Long-context의 의미 변화 — 문서 입력에서 agent의 작업 규모로

그때의 long-context 중요성이 “문서를 좀 많이 넣고 싶다” 같은 느낌이었다면, 지금의 long-context 중요성은 agent 맥락에서 중요해지는 상황이 있거든요. 다룰 수 있는 context의 길이가 길어지면 길어질수록 agent 측면에서는 다룰 수 있는 문제의 복잡성과 규모가 커지는 거죠.

그 개선이 다름 아닌 아키텍처적인 혁신을 통해 이루어졌다는 게 굉장히 흥미로운 부분일 것 같습니다.

Sparse Attention — 전체가 아니라 희소한 일부만 본다

attention은 기본적으로 하나의 토큰에서 그 이전의 모든 토큰을 참조해야 되는 거죠. 그렇기 때문에 sequence의 길이, 즉 입력의 길이가 길어지면 길어질수록 연산 요구량이 계속 크게 증가합니다.

특히 context가 길어지면 길어질수록 하나의 토큰에 대해서 이전 모든 토큰이 다 중요한 정보나 의미를 갖고 있는 건 아니잖아요. 그렇기 때문에 소수의 토큰만 볼 수는 없을까, 어떤 중요한 소수의 토큰만 볼 수는 없을까 하는 생각을 하게 되고, 그게 sparse attention으로 이어집니다.

From scratch의 집념 — dense 1T 다음 sparse 30T

sparse attention을 그냥 from scratch로 학습하기는 어렵고 역설적이지만 dense attention이 있어야 sparse attention을 학습할 수 있다. 이런 결론으로 흘러갔습니다.

초반 1T 정도, 1 trillion 정도 토큰은 dense attention을 학습해요. 그렇지만 나머지 30T 이상의 토큰에 대해서는 sparse attention을 학습하거든요. 그렇다는 거는 sparse attention을 통한 거의 from scratch pre-training을 밀어붙이고 싶었다는 것이고 아마 거의 성공적인 것 같습니다.

거의 1년 걸린 겁니다. 이 연구들의 기반이 된 Native Sparse Attention이 작년 초 R1 이후에 얼마 지나지 않아서 나왔었거든요. ... 그리고 그걸로 끝까지 씨름을 하면서 나온 구조가 이 구조인 것 같습니다.

세 가지 컴포넌트 — sliding window·100분의 1 압축·top-k 선택

sliding window attention은 어떤 context length가 길어지더라도 한 토큰이 과거에 예를 들어서 500 토큰만 보게 제한을 시키는 겁니다.

예를 들어서 1만 토큰이 있다고 하면 그 1만 토큰을 100분의 1로 줄여버리는 attention이 하나 들어갑니다. ... 그 100토큰에 대해서 full attention을 하는 attention 구조가 하나 들어갑니다.

일단 압축한다. 숫자를 줄인다. 숫자를 줄인 다음에 숫자를 줄인 것 중에서 k개만 뽑아냅니다. 그리고 그 k개 뽑아낸 것에 대해서만 attention 연산을 한다, 이런 구조입니다.

Lightning Indexer — KV cache에서 현저한 k개를 찾는 경량 연산

1단계로 KV cache를 압축합니다. 4분의 1로 압축을 합니다. ... 이 4분의 1로 압축한 다음에 4분의 1 중에서 일부만 뽑아냅니다. 일부만 뽑아내는 역할을 하는 게 Lightning Indexer라고 하는 부분이에요.

Lightning Indexer가 굉장히 비교적 경량의 연산을 통해서 이 KV cache 중에서 뽑아내야 되는 벡터들, 토큰들을 찾아냅니다. top-k, 최상위 k개를 뽑아냅니다. 그리고 그 k개에 대해서만 attention 연산을 하는 겁니다.

top-k를 찾는다는 건 그러니까 전체에서 최상위 k개를 찾는다는 건 어쨌든 전체를 다 봐야 되는 거잖아요. ... 그렇기 때문에 전체를 봐야 하기 때문에 이 부분은 상당히 경량이어야 합니다.

연금술 — 되니까 했겠죠

제 느낌에는 압축할 때 두 벌을 만들어서 그 두 벌을 결합하거든요. 왜 이렇게 했는지는 모릅니다.

되니까 했겠죠.

이쪽을 저희가 딥러닝 얘기하면서 참 연금술 같다는 이야기를 많이 하는데, 해보면 다 이 덧셈과 곱셈인데 저렇게 하니까 되더라고 하면 거기에 길이 생기는 거잖아요.

Top-k의 미분 불가능성 — sparse의 매력과 저주

sparse하다는 건 연산의 양을 줄여줄 수 있다는 의미이기 때문에 대부분에 대해서는 계산하지 않고 일부분만 계산을 하면 된다는 것이기 때문에 딥러닝에서 늘 매력적인 구조입니다. 그런데 동시에 딥러닝에서 sparse하다고 하면 늘 문제를 발생시킵니다.

그런데 문제는 top-k는 미분 불가능한 현상입니다. ... 선택이 제일 중요한 부분인데 선택할 수 있는 이 선택을 학습할 수가 없는 거죠.

그런데 사실 expert는 100 몇 개 중에서 고르면 되는 건데 이거는 100만 개 중에서 골라야 되는 거니까 사실 차원부터 너무 다르긴 하네요.

정면 돌파 — 왜 되는지는 아직 아무도 모른다

그런데 이 문제를 DeepSeek은 정면 돌파를 한 겁니다.

중국에서는 아마 안 되는 것 같은데 약간 자포자기 심정도 있었던 것 같거든요. 그런데 어떻게든 되게 만든 거죠. 그런데 되게 만들었는데 이게 왜 이렇게 하니까 왜 됐는지는 아직 잘 모르겠습니다.

또 DeepSeek이 그런 걸 감춰 놓은 상당 부분이 있겠죠. 이런 것들을 밖으로 자랑하지만 안으로 감추고 있는 그들만의 소위 암묵지가 분명히 존재할 겁니다.

프론티어 랩들의 프론티어 — 연예인의 연예인 포지션

DeepSeek은 정말 이 프론티어 랩들의 프론티어 랩 포지션을 추구하는 것 같아요.

새로운 알고리즘은 우리가 견인하겠다. 연예인의 연예인 포지션을 노린다는 그런 느낌이 들고, 그렇다고 봐도 무방할 정도로 참 잘한 것 같아요.

기술적으로도 경이롭고요. 세상에 이런 구조들을 만들어내고 동시에 구현을 해냈다는 것 자체가 그리고 학습에 성공했다는 것 자체가 놀랍기도 하고요.

MLA 퇴장·Muon 입장·mHC — 그리고 빠진 en-gram

돌아가면서 사소한 디테일인데 DeepSeek의 상징적이었던 MLA라고 하는 attention이 빠졌습니다.

Muon optimizer는 Adam optimizer 이후에 지금 굉장히 많이들 채택하고 있는 optimizer입니다. 중국 쪽 모델들 거의 대부분 다 이걸 쓰고 있고요. 학습 속도의 가속 효과가 있습니다.

mHC는 아주 간단하게 요약하면 그러면 통로의 폭을 넓히자는 겁니다. ... 통로의 폭을 넓혀 놓으면 거기에 대해서 여유가 훨씬 생길 거다. 그 제약이 실질적으로는 풀린다.

en-gram이 나와가지고 DeepSeek-V4에 들어갈 거라고 많이들 예상했는데 여기서 빠졌거든요. 그래서 앞으로 en-gram이 어떻게 다시 등장할지가 좀 더 재미있는 지점이 될 것 같습니다.

MoE pipeline 최적화 — 통신과 연산을 겹쳐라

분산 학습이라고 하면 통신이 있고 연산이 있습니다. ... 간단하게 생각하면 통신하고 연산을 동시에 할 수 있습니다.

그걸 위한 트릭 중 하나가 pipeline이라는 겁니다. 쪼개는 겁니다. 과제의 일부를 통신하고 연산하는 동시에 다음 일부를 통신하고, 그다음에 연산하고 통신하고 연산하고 하는 겁니다.

MoE에 대해서 사실 이전에 Comet이라고 하는 연구가 비슷한, 이걸 MoE에 대해서 한 연구가 ByteDance에서 나왔는데 그걸 개선했습니다.

Mega-kernel·전력 throttling·FP4 — 인프라 효율의 극단

kernel의 밀도가 너무 높아져서 연산의 밀도가 너무 높아져서 전력 throttling이 걸리기 시작했다. 전력 수요를 감당하지 못하는 수준까지 수준이 됐다, 이 얘기를 합니다. 그러니까 이제 전력이 제약이 되는 거죠.

앞으로는 전력 인프라를 더 확충해야 될 것 같다는 이런 언급을 하는데 굉장히 낭만적인 이야기거든요.

DeepSeek-V3는 8-bit quantization이 메인으로 들어갔었는데 여기서 한 번 더 밀어붙여 가지고 expert weight들 같은 경우는 MXFP4, 4-bit 압축을 합니다.

이제 Blackwell부터는 가속이 들어가죠. 4-bit에 대한, 그리고 4-bit 압축까지 잘 되는 것 같습니다. expert에 대해서 4-bit 압축은 지금은 거의 표준이 되어 가는 것 같습니다.

32T 토큰 — 데이터에 대한 침묵

그리고 이제 pre-training이 나옵니다. 드디어 pre-training 데이터 부분이 나옵니다. 데이터에 대해서 많은 얘기를 하지 않아요. 32T 토큰을 준비했다고 합니다. 뭘 어떻게 준비했는지 잘 모르겠습니다.

synthetic data가 요즘 굉장히 유행인데 synthetic data에 대해서 언급을 하고 있진 않아요. 합성 데이터를 많이 썼는데 언급을 안 하는 건지 안 썼는지는 잘 모르겠습니다.

사실 natural과 synthetic의 차이가 구분 짓기가 이제 어려운 세상이라고 봐야 될 것 같아요.

Long-context pre-training — 4K 시대의 종언

4K에서 시작해서 16K로 올린 다음에 거기서 한 1T 정도를 학습합니다. 그러면 나머지 30T는 64K 이상으로 학습합니다. 굉장히 흥미로운 부분입니다. 지금까지 중국 모델들에서도 이렇게 한 사례가 없었거든요.

64K로 학습을 할 때 64K가 의미가 있으려면 최소한 32K 이상인 문서들이 충분히 많이 있다는 의미이거든요. 그런 데이터를 많이 준비했다는 거죠.

long-context, post-training, pre-training 이후 post-training 단계에서 long-context를 다룬다는 건 사라지고 그게 pre-training과 통합되게 될 겁니다.

고통의 증거 — Anticipatory Routing이라는 미스터리

요즘 LLM 만드는 쪽에서는 우리 학습 너무너무 안정적이다, 그런 얘기를 많이 합니다. 그런데 여기서는 학습 불안정성을 많이 겪었어요.

이 routing을 하는 걸 몇 step 이전의 학습 weight를 가지고 하는 겁니다. 과거의 학습 weight, 과거의 모델을 가지고 이 routing을 하는 그런 구조를 만들었습니다. ... 왜 그래야만 했던 건지가 미스터리해요.

다들 이해를 못 하고 있어요. 이게 왜 되지, 이걸 왜 했지, 그리고 더 나아가서 왜 이걸 해야 할 만큼 학습이 불안정했지 다들 의아하게 생각합니다.

일종의 너무 이렇게 뭔가 자기 루프가 강화되는 걸 막기 위해서 noise를 일단 섞어 놓았을 가능성도 있다. generalization을 위해.

Post-training — On-Policy Distillation과 1M 토큰 RL 인프라

DeepSeek은 여기서 On-Policy Distillation 방법을 썼어요. 그래서 각각 전문가를 학습시킨 다음에 그 전문가를 distillation 하는 방법을 썼습니다. 그래서 최종 모델을 만들 때는 RL을 안 한 것 같아요. 그리고 rubric 기반의 reward model을 사용했고요.

코딩 전문가, 코딩 전문 모델, 코딩 전문 추론 모델, 수학 전문 추론 모델, 아니면 일반적인 추론 모델, 이런 것들이 많이 있는데 이것들을 어떻게 결합할 건가, 이게 약간 흥미로운 부분입니다.

1M 토큰에 대해서 RL을 한다는 건 1M 토큰만큼을 생성한다는 의미가 됩니다. ... 100만 토큰을 생성하면서 동시에 agentic한 post-training을 해야 되기 때문에 ... post-training 과정에서 토큰을 생성하면서 실제로 sandbox하고 상호작용을 해야 되거든요.

예를 들어서 Docker 컨테이너 같은 걸 빠르게 띄워줘야 되는 거죠. Docker 컨테이너를 빠르게 띄워주려면 그 이미지들을 빠르게 읽어야 되고 이미지를 빠르게 읽으려면 그 storage 서비스가 또 받쳐져야 됩니다.

항저우에 가야겠다 — 프론티어의 좌표 이동

가만히 보면서 이게 미국에 갈 게 아니라 여기에 가야 되겠다. 항저우에 가야 되겠다라는 생각이 들더라고요. 항저우의 카페에 가서 앉아서 여기에 걸리는 엔지니어들을 두고 뭔가를 물어봐야지, 프론티어가 여기에 있네라는 느낌이 저는 굉장히 많이 들었습니다.

한국에서 특히 사실은 중국에 대한 관심이 그렇게 높지가 않고 저희는 많은 소식들이 다 태평양 건너에 있는 실리콘밸리에 맞닿아 있기 때문에 ... 중국에서 일어나는 일들을 저희가 좀 그닥 관심 없어 하는 나라 중에 하나인데 그러지 않아야 될 것 같습니다.

벤치마크와 남은 아쉬움 — 다음 싸움은 post-training

Claude Opus 4.6과 GPT-5.4, Gemini 3.1이랑 비교를 했네요.

약간 아쉬워하기는 해요. post-training을, DeepSeek post-training을 좀 아쉬워하긴 합니다. 좀 더 밀어붙일 만한 여지가 많이 있지 않을까.

pre-training에 대해서는 이미 동등한 수준으로 도달했다. 남은 건 이제 post-training에서 동등한 수준으로 도달하는 것이 되는 거고 동시에 post-training에 대해서 연산력을 pre-training에 대해서만큼 사용하는 것이 되는 거죠.

Anthropic에서는 DeepSeek이 Opus에 대해서 query한 게 distillation을 하기 위함이었다는 식으로 얘기를 많이 했지만 저는 사실 이런 걸 하기 위해서도 많이 쓰지 않았을까 하는 생각을 많이 합니다.

화웨이 칩과 Meta Muse Spark — 같은 시간, 다른 임팩트

NVIDIA 칩과 화웨이 칩을 같이 썼다라는 얘기를 하고 있거든요. 비중에 대해서는 언급은 하지 않지만 ... 그들의 인프라스트럭처에 반도체도 대안들이 생기고 있는 거죠. 중국에서.

그런데 거기도 어마어마한 컴퓨터 자원과 인재를 DeepSeek도 지금 DeepSeek-V3에서 DeepSeek-V4 넘어올 때 상당한 시간이 걸렸고 비슷한 시간을 쓴 거잖아요. 그런데 결국에 이렇게 공개된 거를 봤을 때는 DeepSeek-V4가 좀 더 임팩트 있게 느껴진다는 거죠.

GPT-5.5 빠른 정리 — 유니콘 벤치마크의 꼼수와 출시 리듬

금요일에 GPT-5.5가 예고됐던 대로 Spud라는 게 소문상이었지만 이게 나오고 확실히 빨라졌어요.

유니콘 벤치마크가 갑자기 좋아진 게 이게 약간 꼼수를 쓴 건데 뭐냐 하면 이미지 2.0으로 이미지를 생성을 먼저 하고 그다음에 그거를 그리라고 해서 한 거예요. ... 이게 inference 안에서 이미지 생성 같은 것들이 들어가서 그걸 모델이 활용하는 쪽으로 가게 될 거다라는 뉘앙스가 좀 있었고

결국에 저희가 한번 단톡방에도 얘기했듯이 Chrome 브라우저 업데이트처럼 모델 업데이트도 신경 안 쓰는 그즈음이 될 수도 있겠다.

토네이도 한가운데에서 제정신을 유지하는 법 — Cat Wu와 Ben Mann

토네이도 한가운데에서 제정신을 유지하는 법. 이런 변화 속에서 인간으로 어떻게 버티냐.

Ben Mann이 한 얘기가 지금이 앞으로 세상이 가질 수 있는 가장 정상적인 모습이다라고 하면서 굉장히 높은 frequency에서 회복 탄력성을 가지는 인재상에 대해서 좀 얘기를 했습니다.

누가 몇 억 토큰을 썼네, 몇십억 토큰을 썼네라고 해서 그 token maxxing 이렇게 하는 것들도 좀 탈출하는 사람들이 생기는 거를 저 심심치 않게 보고 있어요. 저거는 답이 아니다. 나름의 어떤 균형점들이 생겨나고 있는 것 같고

모델 성능에서 사업 가치로 — 경쟁 축의 이동

실제로 SaaS 주가가 내려가는 것뿐만 아니라 그들의 신규 주문도 급감하고 있거든요. 얘기인즉슨 이제 회사들 내부에서도 AI-native한 방식으로 이제 자신들의 tool들을 손쉽게 만들어 쓰는 그런 것들이 자리 잡히고 있다라고 보이는 signal들도 여러 군데 있거든요.

이거 가지고 그럼 돈은 어떻게 벌 건데, 고객은 뭘 원하는데, 그들 사이의 gap은 어떻게 메꿀 수 있는데, 이런 이야기들로 담담하게 전진하시는 것들을 요새 좀 많이 목격하고 있습니다.

Spud pre-training이 끝났다고 한 지 얼마 되지 않아서 GPT-5.5가 나오더라고요.