AI는 고작 초딩 수준

생각 덩어리

우리가 만드는 건 동물이 아니라 유령이다

제 블로그에도 썼지만 우리가 만드는 건 동물이 아니라 유령 혹은 정령이라고 불러야 할 존재들입니다. 왜냐하면 우리는 인터넷이라는 거대한 디지털 공간에 인간이 남긴 희미한 흔적들을 철저히 모방해서 훈련시키기 때문이죠.

동물은 생존 본능을 갖고 태어나지만 이 유령들은 아무런 본능도 없는 백지 상태에서 시작합니다.

인간은 강화학습을 쓰지 않는다 — RL의 가성비는 끔찍하다

제 입장을 정리하자면 이렇습니다. 인간은 강화 학습을 사용하지 않아요. 우리는 뭔가 전혀 다른 메커니즘으로 학습합니다. 솔직히 말해 볼까요? 강화 학습은 대중이 품은 환상보다 효율에서 훨씬 안 좋습니다.

빨대 비유 — 1분 노동, 신호는 찔끔

저는 이걸 빨대 비유을 합니다. 여러분은 1분짜리 롤 아웃이라는 엄청난 노동을 했는데 정작 배움의 신호 즉 지도 신호는 가나다한 빨대로 찔끔 빨아먹는 수준인 겁니다.

정답을 맞췄다고 해서 그 과정이 다 완벽했을까요? 중간에 잘못된 골목길로 들어섰다가 우연히 돌아왔을 수도 있잖아요. 하지만 레인for스먼 러닝은 그 실수마저도 잘했다고 칭찬해 버립니다.

LLM 심판 해킹 — DHDHDH에 100점

만약 이 심판을 상대로 강화 학습을 돌리잖아요. 모델은 기가 막히게 심판의 눈을 속이는 적대적 예제 즉 점수를 따는 무적의 치트키를 거의 100% 찾아냅니다.

갑자기 DH, DH, DH, DH 이런 이상한 문자열로 바뀌어 버리는 겁니다. ... 누가 봐도 미친 답변인데 lrm 심판은 여기에 100점 만점을 퍼주고 있었던 거죠.

책은 프롬프트다 — LLM은 성찰하지 않는다

오히려 그 책은 제 뇌를 자극해서 새로운 생각을 만들게 하는 ... 프롬프트에 가깝습니다. 책의 문장을 읽는 순간 제 머릿속에선 스스로 합성 데이터를 생성하기 시작합니다.

하지만 지금의 LM에게는 이에 상응하는 과정이 전혀 없습니다. 그들은 실제로 생각을 하지 않아요.

데이터 붕괴 — ChatGPT가 아는 농담은 세 개

지금 당장 차치피티한테 가서 농담 하나 해 줘라고 해 보세요. 얘가 아는 농담 고작해야 세 개 정도입니다. 세상에 그 수많은 농담 다 냅두고 맨날 쓰던 걸로 돌려받게 하죠. 이게 바로 데이터 붕괴입니다. 다양성이 죽어 버린 거죠.

인간의 망각은 버그가 아니라 기능

인간에겐 LRM이 갖지 못한 결정적 차이가 있습니다. 바로 나무가 아니라 숲을 보는 능력입니다. 우린 사실 암기를 그리 잘하지 못하죠. 근데 이게 결함이 아닙니다. 오히려 축복받은 기능이에요.

다시 말하지만 인간의 망각은 버그가 아니라 기능입니다. 뇌의 용량 한 개 덕분에 우리는 자잘한 건 버리고 어디서나 통하는 일반화 가능한 구성 요소만 남기도록 강요받는 겁니다.

10억 파라미터의 인지 코어

그 무거운 기억을 싹 덜어내고 싶어요. 딱 그건 그냥 검색해서 찾아보면 됩니다. 대신 모델의 뇌속에는 오직 사고를 위한 알고리즘 그리고 생각과 행동을 이어주는 인지적 접착체만 남겨 두고 싶은 겁니다.

저는 우리가 고작 10억 파라미터 정도의 작은 사이즈로도 아주 훌륭한 인지적 코어를 얻을 수 있다고 봅니다.

인터넷 데이터는 완전 쓰레기다

첨단 연구소에 앉아서 실제 사전 훈련 데이터셋을 까보잖아요. 그건 그냥 완전 쓰레기입니다. 솔직히 말해서 이따위걸 먹고 AI가 작동한다는게 기적일 정도예요.

그 거대한 덩치의 대부분은 고작 그 인터넷 잡동산이들을 억지로 압축하고 기억하느라 낭비되고 있는 겁니다. 정작 생각을 하는 뇌세포는 얼마 안 드는데 말이죠. 하지만 우리가 진짜 원하는 건 지능이지 기억이 아닙니다.

초지능은 그냥 자동화다

지금의 컴퓨팅 발전 추세를 그대로 미래까지 쭉 연장해서 그려보면 답은 명확합니다. 세상에 많은 부분이 점차 자동화될 테고 우리가 말하는 초지능은 저 그 그래프 연장선 끝에 있는 결과물일 뿐입니다.

그래서 기본적으로 좀 거칠게 요약하자면 소지능은 그냥 자동화입니다. 의외로 그게 다입니다.

진짜 위험은 통제와 이해의 점진적 상실

이런 세상이 오면 제가 진짜 긴장하게 시작하는 시나리오가 하나 있습니다. 바로 지금 무슨 일이 벌어지고 있는지에 대한 점진적인 통제와 이해의 상실입니다.

결국엔 아무도 원리를 모르고 아무도 통제할 수 없는 상태가 서서히 아주 조용히 찾아오게 됩니다.

자율 개체들이 경쟁하는 뜨거운 냄비

오히려 점점 더 자율적으로 변해가는 다수의 경쟁하는 개체들이 득실거리는 세상일 겁니다. 개중에는 통제를 벗어나 일탈하는 놈들도 생길 테고 또 다른 AI들이 그놈들을 제압하기도 하겠죠.

진짜 문제는 그 수많은 AI들이 지들끼리 서로 경쟁하고 있다는 사실 바로 그거네요.

다중 에이전트의 문화와 셀프플레이

다중 에이전트 영역에는 아직 실제로 구현되거나 주장되지 않은 하지만 아주 강력한 두 가지 아이디어가 남아 있습니다. 첫 번째는 방금 말한 문화입니다.

바로 알파고를 신으로 만든 치열한 경쟁과 최적화의 영역인 셀프대국입니다. 저는 이게 극도로 강력하다고 봅니다.

클로드 코드도 여전히 초딩 같다

지금의 더 작은 모델들 혹은 다소 멍청한 모델들 다수는 놀랍게도 유치원생 혹은 초등학생이나 고등학생 수준입니다.

제 클러드 코드나 커닥스만 봐도 그렇습니다. 여전히 초딩처럼 느껴지거든요. 저런 그들이 박사급 문제를 풀 수 있다는 건 압니다. 하지만 인지적으로는 여전히 유치원생이나 초등학생 같아요.

그들은 사반트 키즈입니다. 이 모든 지식에 대해 완벽한 기억력을 갖고 있죠. ... 하지만 저는 여전히 그들이 자기가 무엇을 하고 있는지 정말로 알지는 못한다고 생각합니다.