EP 99: 43일 주기와 code as harness, 그리고 인간의 일

생각 덩어리

두 달 이하 리듬 — 43일 만의 Opus 4.8

제가 제목을 두 달 이하 리듬이라고 적어봤는데, Opus 4.7이 나온 게 4월 16일이거든요. ... 그런데 지금은 43일 만에 나온 셈이거든요.

frontier model이 두 달 동안 deploy됐으면 그게 두 달마다 retire 된다는 패턴이 있었다는 걸 Dwarkesh도 그 전제를 하는 건데

Sam Altman이 호주의 행사에서 화상 대담할 때 두 달 만에 세상 바뀌는데 회사 연간 계획 필요할까라는 자극적인 문구를 뽑아 놓았지만, 어쨌든 Sam Altman이 그런 뉘앙스의 얘기를 했나 봅니다.

발전 속도는 계속 증가하기 시작해서 어느 시점이 되면 이게 무한히 증가하는 그 시점이 된다. 그리고 그 지점이 싱귤래리티라고 얘기를 하는데, 그 지점을 향해 가고 있는 거죠.

Mythos급 전면 공개 예고 — 체급 조정의 신호

사용자들은 Opus 4.8이 이전 모델 대비 작지만 분명히 체감할 수 있는 개선을 이루었다고 느낄 것입니다. 아직 해야 할 일이 남아 있습니다. 우리는 Opus와 동일한 역량을 다수 제공하면서도 더 낮은 비용으로 사용할 수 있는 모델을 개발하고 출시하기 위해 노력하고 있습니다.

안전장치 준비하는 게 빠르게 진전을 이루고 있어서 앞으로 몇 주 안에 Mythos급 모델을 모든 고객에게 제공할 수 있을 것이라고 기대하고 있습니다.

뭔가 이 모델 range를, 체급을 좀 조정하고 있는 느낌이네요. 이제 Mythos가 새로운 Opus가 되고, Opus가 Sonnet이 되고, 사실 지금 Sonnet, Haiku는 몇 개의 정말 embedding 모델스러운 이 단위 task 말고는 유명무실하잖아요.

Google I/O — Flash가 주인공, 본진은 여름

Google I/O에서 Gemini 3.5 Flash가 주인공이었잖아요. 그러니까 Pro는 준비되지 않았습니다. 그런데 키노트의 얘기를 들어보면 계속 그 얘기를 하는 거예요. 몇 주 후에는 우리가 다음 것을 공개할 수 있을 것이다. 여름 즈음이 될 것 같다

GPT-5.6이 나오는 타이밍은 Opus 4.8이 GPT-5.5를 꺾지 못하는 느낌일 때는 안 나오다가 얼추 이렇게 얘기가 나올 때는 나오겠죠.

Token economics — 배기량 경쟁의 끝과 latency라는 새 축

이게 결국은 이 token economics에서 살아남기 위한 처절한 몸부림 아니겠습니까?

자동차들이 배기량 경쟁을 하던 때가 있었거든요. 그래서 4,000cc, 5,000cc, 6,000cc 막 나오다가 어느 정도 효율화를 이루고 난 다음에는 상업적인 운용에서는 이 정도면 충분하다고 해서 이렇게 좀 flat하게 된 시기가 있었는데, 모델도 그러지 않을까 싶어요.

거의 대부분의 사람들도 이제 이메일과 PowerPoint와 Excel이 떠 있었다면, 이제는 화면에 거의 agent application들이 떠 있거든요.

그 latency가 정해진 품질 안에 나온다면, 그게 Opus든 뭐든 최고급 모델이 아니라 그냥 빠르고 좋은 모델이라는 어떤 개념이 생길 것 같습니다.

Doom 부팅 데모 — 93개 subagent, 15,000번의 호출, 12시간

93개의 subagent를 구동해서 15,000여 번의 model call을 통해 custom kernel, filesystem, driver를 처음부터 작성하게 해서 12시간 뒤 Doom이 부팅됐습니다.

결국에는 이런 어떤 long-horizon 작업을 낮은 token 소모로, 그런데 Gemini 3.5 Flash가 이전 Flash보다는 3배가 비싼 모델이더라고요.

Dynamic Workflows — orchestration을 결정적 코드로

이거에서 흥미로운 포인트는 큰 모델이 계속 이걸 조율하는 게 아니라 처음에 어떻게 orchestration할지를 결정적인 코드로 짜고, 그게 될 때까지 쭉 하는 그런 느낌이더라고요.

모델한테 맡기면 사실 모델이 게으름을 피우잖아요. 평가하고 자기가 했던 것, 자기가 평가하게 하면 됐다고 뻥치고 그러는 경우들이, 특히 어려운 일을 시킬 때 그런 일들이 있는데

그런데 타임라인의 반응은 우리도 그런 거 했었어요가 되게 많았거든요. 이거 이미 있는 개념이고, Anthropic이 약간 빨랐겠네

Recursive Language Models — context를 REPL의 object로

예를 들면 context가 일종의 object가 될 수 있고 어디에서의 object냐 하면 REPL, 그래서 REPL.

여기 인용한 논문이 Recursive Language Models라는 논문입니다.

저 RLM 논문 저자에 Omar Khattab이 있는데 Omar Khattab이 DSPy를 Stanford에서 만든 사람이니까 당연히 넣었을 것 같아요.

Meta optimization — evaluation metric만 있으면 검색으로 푼다

DSPy나 그다음에 TextGrad라든지 방금 얘기한 것들이나 이런 것들을 보면 일종의 다 meta optimization이잖아요.

Karpathy가 얘기하던 auto research 개념하고 똑같거든요. 어떤 문제든 evaluation metric만 존재하면 모델은 우리가 어떤 걸 설정하더라도 그냥 optimize computing을 투입해서 성능을 올리는 방향으로, 즉 그냥 검색하는 방향으로 전환해서 풀 수 있다는 그 핵심 개념인 것 같아요.

Code as harness — 다들 같은 곳으로 가고 있다

강규영 님이 흥미로운 표현을 해 주셨는데 code as harness라는 표현을 해주셨어요. 듣고서 약간 귀에 착 감기는 표현이었는데

이게 결정적인 도구들을 결국 harness가 그걸 하는 거잖아요. 그래서 script를 활용해서 그거를 꽉꽉 조여 가지고 제어를 하게 하는 그런 느낌으로 가고 있습니다.

이게 깔끔하게 one-shot으로 끝났다기보다는 수많은 error들을, 그렇죠, error들을 끊임없이 evaluation을 돌면서 이거 틀렸네, 이거 고치고 오고, 또 이거 틀렸네, 이거 고치고 오는 약간은 소위 tinkering 과정이

기업 현장의 needs — latency와 우리만의 harness

agent가 꽤 복잡한 일을 시키면 기본 20, 30분씩은 돌고, 아무리 짧게 돌아도 10분씩은 돌거든요. 그러다 보니까 latency에 대한 needs가 막 생겨요.

우리만의 harness를 써야 되겠구나라는 그런 needs도 계속 생기고 있고요.

제가 1년 전에 Minecraft 가지고 agent 만드는 거를 다시 요새 재방문하고 있는데 세상이 달라졌더라고요. 어저께 자기 전에 10시간짜리 돌려놓고 잤는데 아침에 뭔가 성과를 보이더라고요.

일어나서 보니까 Codex weekly limit이 8% 남았다라고 보고가 돼 있어서 token을 많이 쓰게 되는 거죠.

에르되시 문제 — 모델의 해법이 수학자를 급진전시키다

에르되시 문제가 여러 가지인데 그중에 하나를 푸는 거를 모델이 해내서 세상이 또 좀 놀란 시기가 5월 중순에 있었어요.

Noam Brown이 알파고 이후 인간 바둑 기사들의 실력은 눈에 띄게 향상되었다. 나는 수학에서도 비슷한 패턴이 나타날 것이라고 생각한다.

그 에르되시 문제를 모델이 해낸 걸 알려진 다음에 수학자들도 영감을 얻고 해 가지고 뭔가를 급진전시킨 현상이 일어났다는 거죠.

이번에는 가법 조합론의 또 다른 문제, 주요 문제가 해결되었다. 이번에는 AI가 아니라 인간들이 해낸 일이지만 단위거리 추측에 대한 AI 해법과 관련된 방법들을 사용했다.

Human in the loop의 격상 — verifier 인간과 문헌의 연결

이번에 OpenAI의 그 시도도 흥미로운 게 인간을 되게 중요한 역할로 줬어요. 모델이 혼자서 추진해서 하는 게 아니라 평가를 하는 걸 인간이 제대로 하는 어떤 그런 메커니즘이 좀 들어가서 기존의 시도하고는 좀 달랐거든요.

정수론에 정통한 학자, 조합론에 정통한 학자, 그런데 서로의 문헌을 모를 수 있잖아요. 그런데 AI는 pretraining을 통해서 전체적인 걸 아니까 그 문헌 사이를 연결할 수 있는 걸 할 수 있게 되는 그런 뉘앙스가 좀 컸거든요.

생성형 인지 저하 — offloading의 대가와 augmentation의 공존

요즘에 생각하고 있었던 건 생성형 인지 저하거든요. 내 생각을 자꾸만 offloading, 모델에게 위임해서 대신 생각하게 하다 보면 내 생각하는 힘, 근육이 줄어간다는 느낌.

이게 되게 slot machine으로 dopamine이 터지지만 일은 물론 해내지만, 내 능력 자체는 저하되는 일이 벌어지고 있을 수 있는데 한편에서는 능력을 획득하는 경우도 일어나고 있다.

당장은 격차를 늘리는 것 같지만, 결과적으로 보면 격차를 매우 줄여 놓을 거고

포크레인과 운전면허 — 일의 개념 교체

예전에 예를 들어서 집을 짓는데 단위 시간당 흙을 얼마나 많이 옮기느냐라고 하면 당연히 체력과 요령, 이런 것들이 그 사람의 능력치였는데 포크레인 같은 굴착기 같은 그런 기계가 나오면서 사실 지금은 그 자격시험, 운전면허시험으로 바뀌어 있잖아요.

인간의 조건하고 연결되는 거라서, 생각하는 게 인간의 일이었잖아요. 그런데 그게 이동하고 있어서 상당히 고민스럽습니다.

생각하는 게 인간의 일이라는 것도 사실은 통념인 거죠.

Simon Willison — PMF, lock-in, 건너버린 강

Anthropic과 OpenAI는 product-market fit을 찾은 것 같다. Simon Willison이 이 포스팅을 한 게 되게 인상적이었어요.

기업 고객들이 이제 API 가격을 내고 있다. lock-in된 거죠. 이제는 강을 건넜잖아요. 안 쓸 수가 없거든요.

이제 엔지니어들이 아니라 다른 사람들도 Claude Code를 이제 다 쓰고 있기 때문에 저희도 비엔지니어 분들이 100달러, 200달러 플랜을 쓰는 비중이 높아지고 있습니다.

나는 agent를 광범위하게 사용하는 기업들도 비슷한 할인을 받고 있을 것이라고 생각했다. 그런데 알고 보니 완전히 틀렸다.

토큰 가격 — 전기가 될 것인가, 낮아진다에 베팅할 것인가

사람들이 이제 쓸 사람들은 다 쓰고 거의 끝에 왔다, 이 plateau에 도달했다라고 보는 시각이 있고 ... 테크 안쪽에 있는 사람들 입장에서 보면 이제 겨우 시작한 거 아닌가 생각은 많이 하죠. 이제 겨우 시작 아닌가. 토큰 가격은 전기처럼 될 것 같아요, 전기.

그런데 저는 역사적으로 살펴볼 때 얘는 낮아진다에 베팅하는 게 무조건 높은 확률값입니다.

채용의 역설 — 줄이는 빅테크, 늘리는 lab

OpenAI는 현재 703개의 공개 채용 공고를 내고 있고 그중에서 지원 관련 229개 ... 그리고 Anthropic도 390개의 공개 채용 공고를 내고 있다. 그래서 Meta는 최근에 8천 명 layoff 하는 것 때문에 또 이슈가 있었고 Microsoft도 계속 좀 줄여가는 느낌이었는데 이런 쪽들은 늘려 간다는 거죠.

AI를 쓸 사람이 결국에는 자기들의 어떤 고객이 되는 거기 때문에 누가 됐든 상관없고 엔지니어가 됐든 빌더가 됐든 그 AI를 쓰는 사람을 필요로 하는 직업이 줄어가는 게 아니라 늘어가는 구간도 있을 수 있겠구나

AI native problem solver — 엔지니어 개념의 해체

다 새로운 층 위에 어떤 problem solver가 된 거고, Claude Code를 다룰 줄 알면 그들을 새로운 엔지니어로 부를 것인가. 엔지니어들 어느 누구도 지금 코딩을 하고 있지 않거든요.

고객은 그러한 아키텍처를 사는 건 아니거든요. 고객은 자신들의 문제가 해결되는 걸 산단 말이에요.

만약에 그냥 밑도 끝도 없이 Claude Code 쓸 줄 아는 엔지니어를 채용하자라는 의사결정이 어떤 기업에서 나왔다면 그 기업의 경영자가 문제의 본질이 뭔지 아직 전혀 모르고 있을 가능성이 있는 거고

엔지니어 개념에서 조금 더 나간 게 이제 소위 FDE, Forward Deployed Engineer라는 건데 이제 FDE보다도 좀 더 나갈 것 같아요. 저는 AI native talent라고 개인적으로 지금 부르고 있는데

암묵지의 encapsulation — 역량이 agent 안으로 쌓여 내려간다

그동안 계속 쌓여 온 context가 있기 때문에 지금은 그냥 저희 agent한테 어제 매출이라고 얘기해도 정확하게 회사가 원하는 관점으로 가공해 오거든요.

encapsulation돼서 아래 layer로 쌓여 내려가는 거라서 지금 더 명확하게 표현하면 이제는 엔지니어라는 개념보다는 그냥 모두가 다 문제 해결사이자 단위 사업의 사업가라고 정의 내리는 게 맞고

나머지 반은 전통 엔지니어 출신이 아니에요. 예전에는 마케터였던 사람, 예전에는 그냥 PM이었던 사람. 심지어 그런 분들이 Claude Code를 결합하게 되고 이미 엔지니어들이 만들어 준 암묵지 prompt를 그냥 가져와서 그 skill로 불러 쓰기 시작하니까 문제가 한 번에 끝나는 경험들을 많이 하거든요.

수요는 늘어난다 — 문제를 만드는 속도가 더 빠르다

사람들은 문제를 해결하는 속도보다 문제를 만드는 속도가 빠르기 때문에 수요는 또 한참 늘어날 겁니다.

저희가 전통적으로 엔지니어라고 부르던 개념은 아마 한 layer 아래로 내려가서 이제 inference를 어떻게 더 빨리 하게 할 거냐, 고도의 token engineering, infrastructure engineering, model building, 이런 쪽으로 떨어지지 않을까.

On-premise 수요 — default 문제 해결 앱이 된 Claude Code

대기업들, 은행권이라든지 아니면 초대형 IP들을 가지고 사업을 하는 회사들은 Claude Code나 이런 거 쓰긴 좀 어렵거든요. 그래서 Claude Code harness를 가지고 그냥 로컬 모델 Qwen이나 GLM 같은 것들을 붙여서 돌려야 되는데

사실은 이제 Claude Code나 Codex가 코딩 에이전트가 아니라 그냥 아주 기본적인 default 문제 해결 앱이 된 것 같아요.

결국에는 우리가 다뤄야 되는 문제의 규모가 어떤 급의 모델로 풀어야 될지를 촘촘하게 알아서 잘 배치해야지, 아니면 굉장히 예산에 미스가 나게 되고 순식간에 그냥 날아가 버릴 거 아니에요.

여름의 clash — Gemini 3.5 Pro·Mythos·GPT-5.6

여름에 한 번 clash가 있을 것 같다는 전망 정도 해보게 됩니다.

Gemini 3.5 Pro와 Anthropic의 Mythos와 GPT-5.6 정도로 대변되는 세계 메이저 플레이어들의

그러면 기존에 잘 돌아가고 있었던 것들을 유지할지, 아니면 migration하고 한 번 싹 갈아엎을지, 이런 일들을 또 푸닥거리를 하게 되겠죠. 예정된 일이라는 거죠.

기어 변경 — 모델의 진보보다 harness와 align

저희가 사실 모델 이야기를 상당히 안 하고 있다는 게 저는 많이 느껴지거든요. 얘는 어느 일정 수준 이상을 지났어.

나는 내 단위 업무를 어떻게 가장 저렴한 가격으로 가장 빠르게 해결할 것이냐. 그거는 모델의 능력과 harness의 정도와 이것들을 어떻게 align을 잘 할 거냐라는 것들을 판단하는 이런 것들이 중요해지는 시기로 좀 넘어가는 것 같고.

a16z의 플랫폼 사이클과 Vinod Khosla — 서막론, 상방 없는 intelligence

지금 NVIDIA와 하이닉스나 삼성전자의 주가가 이렇게 막 고피크를 찍는 게 이게 피크고 곧 AI 붐 꺼져요가 아니라 이 붐의 시작을 알리는 서막에 불과하다 라고 볼 수 있다는 거죠.

사람들은 항상 과거의 기준으로 미래를 평가하는 나쁜 버릇이 있거든요. 과거의 패턴은 반복되지만, 그 패턴 속에서 이렇게 y축으로 존재하는 intensity, amplitude는 상대적으로 다 보강, 보정해서 사용해야 되거든요.

Vinod Khosla가 이거는 기존에 있었던 앱과는 다르다. 왜냐하면 이거는 intelligence라서 이거는 상방이 없다. ... 과거의 어떤 플랫폼의 어떤 전이들은 항상 걔가 delivery할 수 있는 상방의 끝이 꽉꽉 닫혀 있었거든요.

이거는 intelligence다. 거의 영원히 수요가 증가한다라는 얘기를 했는데, 저는 그 말에 굉장히 동감이 가요.

IPO의 의미와 100회 예고 — obligation 해소, 토큰 공장 안으로

private round에서 Series A, B, C, D, E 이렇게 해서 막 받으면 valuation을 높일 수 있지만, 그것들이 회사의 경영진을 옥죄는 굉장히 많은 조건들이 따라붙어요.

근데 저희 같은 투자자 입장에서 더 중요한 거는 그 IPO가 시작일 것이냐, 끝일 것이냐.

저희가 5월에 시작했기 때문에 100회와 3주년과 그다음에 구독자 3만 명 넘었죠.

에이전트 시대가 되면서 inference의 중요성이 어마어마하게 많아지고 있고, 사실 어마어마하게 토큰들이 밀려오고 있기 때문에 그 토큰 공장의 안을 한번 살펴보는 게 저희가 의미가 있다는 생각이 들었고