EP 100: 전략 자산이 된 모델 — Fable 5 수출 통제와 RSI

생각 덩어리

100회와 3년 — 펠리컨 자전거와 깨져버린 불가능

3년 정말 빠르게 지나갔고, 또 재미있지만 한편으로 돌이켜 보면 상전벽해 같네요.

유니콘 그림 그리는 거에서 지금은 펠리컨이 자전거 타는 이런 걸로 왔는데 한 3년의 기간 동안 불가능할 거라고 얘기했던 그 모든 것들이 다 깨졌죠.

작년 가을이 넘어서면서 이거는 그래프의 기울기가 확실히 달라진다는 느낌이 들었고 올해 겨울이 지나고 봄이 들어가면서부터는 이제는 모두가 심심치 않게 AGI라는 이야기를 막 하기 시작했던 기억이 납니다.

경쟁의 축 — 스케일 증가와 post-training

당연히 스케일이 증가하는 부분에 있을 것 같아요. ... 스케일 증가가 우리를 다음 곳으로 데려다 줄 것이다라는 것에 대한 믿음은 확실히 있는 것 같고

프론티어 사이드는 너무나도 당연하겠지만 post-training이에요.

그런데 핵심은 post-training의 엔지니어링 인프라 그다음에 거기에 데이터셋의 공급, 그리고 그 데이터셋 자체가 이런 것 같아요.

데이터셋 엔지니어링 — 직업 전문가별로 갈아 넣는 case-by-case

파이낸스도 investment banking을 하는 것부터 세무 처리하는 것부터 그냥 단순한 어떤 저희 개인적인 파이낸스 업무를 하는 것까지 굉장히 다양한 task가 있는데 그 task들도 데이터셋을 하나씩 다 세분화하면서 만들어 가고 있는 것 같아요.

우리가 진짜 세상에 존재하는 모든 그런 도메인이나 직업 전문가 이런 것들에 대해서 그 case-by-case의 데이터셋을 전부 다 generate하고 걔를 그냥 모델에 학습시켜 나가는 그 과정을 계속 돌고 있다는 생각이 들어요.

또 하나의 modal — 바이오도 "저렇게 하면 풀리네"

그러한 존재하던 산업을 완전 AI 사이드에서 접근하시는 분들은 지금이 GPT-2 모멘트 정도 되는 것 같다는 생각을 하고 있고

이거는 소리고, 이건 이미지고, 저건 비디오야라고 다른 modal로 규정하고 사실 그냥 한꺼번에 다 집어넣고 train 하잖아요. 그런 것과 비슷한 관점으로 돌리고 있어요.

그런데 그게 그냥, 저렇게 하는데 되네라는 것들이 보게 된 게 제가 이번에 제일 큰 수확이에요. 이것도 저렇게 하면 그냥 문제 풀릴 수 있겠네.

스타트업의 꿈 크기 — world model과 3천억 valuation

지금의 transformer는 문제가 있다. 그래서 새로운 world model이 필요하고 내가 생각하는 world model은 이런 거야라고 하는데 그런 걸 이야기하는 게 한 21살에, 17살에 대학에 들어간 천재나 14살에 대학에 들어간 천재들이 그런 얘기를 하면 자본들이 반응을 쭉쭉쭉 하는 것 같고

2년 전에도 그런 얘기하는 애들 굉장히 많았는데 결국 현실의 문제는 하나도 못 풀고 애들 다 도망가버리고 회사는 망하던데.

한국 돈으로 무려 한 3천억에서 5천억 정도의 그런 valuation을 부르는 경우가 매우 허다하고

Mythos에서 Fable로 — 공개 3일 만의 수출 통제

4월 Anthropic에서 Mythos라는 모델을 살짝 공개를 했었고 그리고 나서 두 달 정도가 지난 이번 화요일 정도에 갑자기 공개가 됐잖아요. Fable이라는 이름으로 바꿔서 공개를 했었는데

어제 미국 정부 규제에 의해서 미국 국적자가 아닌 사람들은 Fable에 대한 액세스를 아예 하지 못하는 그런 정책이 발표가 됐죠.

Fable 5가 나왔는데 나온 이유는 우리가 safeguard를 만들었다. ... 광범위하게 보안에 관련된 거나 생물학에 관련된 걸 기계적으로 앞단에서 차단을 하는 것 같더라고요.

신화와 우화 — 이름에 담긴 containment

이름이 재미있어요. Mythos가 신화였잖아요. 그런데 Fable은 우화거든요. ... 이게 함의하는 바가 있더라고요.

신화를 얘기하던 거를 사람들에게 대중적으로 표현하는 우화 이솝 우화 이런 식으로 배포용으로 한 게 결국에는 Fable이 된 거거든요. Mythos는 아직도 가둬 있고 일부만 액세스할 수 있는

그건 신계에 있는 어떤 존재로 포장하고 걔를 인간들에게 내려주는 어떤 것들을 Fable로 표현했다고 보면 되겠네요.

Dario의 타임라인 — 9650억 달러, RSI, S-1

5월 28일이 Opus 4.8 나왔던 때죠. 이때 시리즈 H valuation이 9650억 달러 발표였었거든요. 그리고 6월 1일이, 6월 1일이 아마 RSI 발표한 날이에요.

RSI가 Recursive Self-Improvement에서 자기 증강하는 거를 Anthropic에서 그거를, SEC가 증권거래위원회인데 증권거래위원회에 상장하겠다고 처음에 내야 되는 거라서 ... S-1 증권신고서라는 거를 제출했는데

전략 자산급 공인 — TAM엔 불리, 능력엔 방증

어쨌든 저도 공감하는 부분은 지금은 이게 전략 자산급으로 공인됐다의 느낌이거든요.

단기적으로는 이게 시장에 대한 불안정한 신호 언제든 국가 권력이 이걸 다룰 수 있네를 보여준 동시에 그럴 만한 능력이다라는 걸 방증한 셈이 되기 때문에

그런 거가 지금 사람들이 많이 얘기하듯이 이거 다 IPO 맥싱 아니냐. 최대한 valuation을 높이려는 전략 아니냐.

루프 엔지니어링 — Ralph loop 너머의 오케스트레이션

우리는 루프를 짜고 그걸 맡겨서 도는 쪽으로 생각의 전환을 해야 된다.

Ralph loop는 굉장히 단순했는데 지금 말하는 루프 엔지니어링은 조금 더 복잡한 ... Dynamic Workflows라든가 ultracode 이런 키워드들이 오케스트레이션을 강하게 거는 그런 구조잖아요.

Fable 5 가격 — 2배, 그리고 decode가 비싼 이유

일단 Opus보다 Fable이 기본적으로는 2배 비싸거든요. 그래서 지금 입력, 출력 1M 토큰에 대해서 가격이 출력이 50달러예요.

decode는 한 스텝 한 스텝 돌아야 되는데 입력 같은 경우에는 prefill을 한 번에 배치를 빵 때려버릴 수 있으니 사실은 저 1 대 5 가격 차이가 나는 것보다 훨씬 이론상은 많이 나야 되는데 그냥 퉁을 친 것 같고

10T라는 추정 — 5배 크기에 원가 근처 가격

4.8이 5T급 모델이라고 했을 때는 그러면 10T급이라는 걸 그냥 막연하게 생각해 볼 수는 있겠죠.

프론티어 랩들이 쓰던 Opus나 Pro 이런 급들이 1T, 2T급이라고들은 얘기는 해요. 다들 컨펌을 안 해주지만 그냥 대략 이 정도라고 그렇게 얘기하죠.

Dwarkesh의 그 해석에 따르면 원가 근처라는 거죠. 왜냐하면 지금 경쟁의 상황이다 보니까 여기서 크게 마진을 남기는 것은 아닐 것이다

분산된 인프라 — TPU·Trainium·NVIDIA의 아픔

Anthropic 같은 경우에는 진짜 Google TPU도 쓰고 저기 Amazon 가서 Trainium도 쓰고 그다음에 NVIDIA도 쓰고 그런데 이런 것들이 전선이 넓혀져 있는 게 좋지만은 않거든요.

Anthropic이 정말 쥐어짜면서 뒤따라가고 있는 것 같은데 그걸 보상하기 위해서 Mythos나 이런 것들을 끊임없이 먼저 시장에 선빵을 때려야 되는 그 아픔도 갖고 있는 게 아닌가라는 생각이 듭니다.

위임의 상업성 — 더 비싼 돈으로 더 오래 돌리기

Mitchell Hashimoto가 비판을 했어요. 사실 훨씬 더 적은 가격에 사람이 노력을 해서 하면 제대로 일을 더 빨리 할 수도 있는데, 더 비싼 돈을 들여서 모델이 긴 시간 일을 하게 한다는 쪽으로 비판을 했습니다.

그런데 얼마 전에 정형원 박사님 뵀을 때도 아직 test-time compute에서 더 꺼낼 수 있는 과실이 많이 남아 있다는 얘기를 하시더라고요.

상업적으로는 사실 가격과 성능의 trade-off는 모두가 각자 계산을 할 거니까요.

RSI의 프랙털 — Claude가 Claude를 만든다

Claude가 혼자 일을 하다가 여럿이 일을 해요. Claude를 만들었네요. Claude가 Claude를 만들었죠. 그걸 재귀적으로 반복하고 있습니다.

그냥 우리 생명의 세포의 분열과 완전히 똑같은 거라서 지금 프랙털을 보여주고 있잖아요.

RSI의 궤도로 가고 있다는 걸 선언했고, 이거를 얘기한 게 6월 초인데 6월 초에 S-1 document를 제출했다.

이게 느낌상으로는 plateau가 전혀 아니고 계속 기울기가 높아가는 궤도에 있는 거죠.

컴퓨팅 스케일 — 30T 토큰과 원자폭탄 게임

3년 전만 하더라도 어떤 프론티어 모델이 3T, 5T에서 학습을 했다는 그런 얘기를 많이 들었는데 지금은 기본 30T거든요. 토큰 숫자로 계속 늘어날 거거든요.

지금 Chinchilla optimal보다 100배 정도 overtrain됐다는 게 Dwarkesh 편에서 했던 얘기죠.

이게 마치 누가 먼저 원자폭탄을 개발하냐, 개발해서 뒤에 따라오는 사람의 사다리를 걷어찰 수 있느냐의 그런 게임이거든요.

미지의 영역 — 100배 스케일과 한계 효용

Dario가 Machines of Loving Grace 글에서 이미 ... 한계 효용을 얘기했었거든요. 특정 영역에서는 한계 효용을 얘기할 것이다. 그게 2024년 말쯤 이미 전망했었던 건데 벌어지고 있는 것 같아요.

지금은 그분들도 모르는 그런 미지의 영역으로 쭉 끌려 올라가는 그런 느낌이고 무언가 그분들도 정리해서 발표할 틈새가 없을 것 같아요.

100배의 스케일이 된다는 얘기는 지금 현존하는 지구상의 컴퓨테이션이 그냥 어떤 한 모델의 training에 다 들어가야 된다는 수준이거든요.

주권 AI와 미중 — 통제가 열어주는 한국의 기회

미국이 저렇게 전략 자산화하고 통제하면 중국은 그것들을 풀면서 미국이 아닌 다른 나라를 다 또 껴안을 수 있는 그런 거고 미국과 중국이 둘 다 막는다라고 하면 사실은 한국에도 기회가 있는 거고

모두가 달나라에 로켓을 보내야 되는 그야말로 진짜 온 나라가 그냥 꿈을 향해 달리는 그런 미친 장사가 펼쳐질 수도 있는 거죠.

독자 파운데이션 모델 — Upstage 100B, SKT 500B, future readiness

Upstage가 100B 모델 내놨었고 SK텔레콤이 500B 모델 내놨었고 그리고 이제 장세가 이렇게 돌아가고 국가적인 차원에서도 또 자원들을 떨어뜨릴 준비를 하고 있으니

future readiness가 지금 돈보다 더 소중한 자산이 되어 있거든요. 돈이 오히려 더 흔한 시기죠.

The purpose of a system is what it does — Fable 5와의 성찰

아첨과 성찰 능력 자체를 조망하는 거를 Claude 계열이 원래 그거를 좀 잘했는데 잘하더라고요. Fable이.

The purpose of a system is what it does라는 거를 사이버네틱스에서 통용되는 용어인데 저는 이걸 모르고 있었어요.

내가 뭘 하고 싶어 하느냐와는 별도로 내 의도나 이런 goal과는 별도로 실제로 하고 있는 일이 모델과 나의 관계를 드러낸다.

엔지니어링의 재정의 — 6만 라인과 부트스트래핑

엔지니어링의 개념이 사실은 바뀐 거니까 지금 아무도 이젠 코딩을 하고 있진 않지만 그럼에도 불구하고 저희가 무언가 쓸 만한 시스템을 만들려면 엔지니어링이 필요하거든요.

몇천 라인 수준에서는 아무 문제가 없던 거가 몇만 라인, 제가 한 3일 만에 저도 갑자기 6만 라인 정도로 뻥 튀게 됐었는데

엔지니어링에 도움이 되는 도구 자체를 만드는 그런 부트스트래핑이 또 일어나고 있는 것 같아요.

100회 이후 — 지구 단위의 스케일과 FDE

아마 후세가 보면 그때가 무슨 AI 혁명의 어떤 결정적인 시기였다 라고 기록할지도 모르겠어요.

이게 그냥 무언가 나라 단위로 뭘 하기에는 좀 다른 진짜 지구 단위의 스케일의 일들이 일어나고 있는 것 같아서

요새 FDE라는 말 자체가 대유행이잖아요. 한번 거기를 좀 태핑을 해봐야 되겠다는 생각은 하고 있습니다.