ChatGPT는 지능이 아니다

생각 덩어리

두 세계의 단절 — 강화학습이야말로 가장 본질적인 AI

두 관점은 서로 다른 세계입니다.

저는 강화 학습이야말로 가장 본질적인 AI라고 정의합니다. 지능이란 무엇인가? 핵심은 당신이 속한 세계를 이해하는 것입니다. 강화 학습이 그 세계를 이해하는 과정인 반면 LRM은 사람들을 흉내냅니다.

모방은 월드 모델이 아니다 — 세상이 아니라 사람을 예측할 뿐

사람들이 한 말을 그럴싸하게 흉내내는 건 결코 월드 모델을 구축하는 과정이 아니죠.

진정한 월드 모델이라면 세상에 무슨 일이 일어날지 예측해야 합니다. 하지만 LRM은 사람이 다음에 무슨 말을 할지 예측할 뿐이죠. 물리적 세계에서 실제로 어떤 일이 벌어질지 예측하는 능력은 없습니다.

실측 자료의 부재 — '올바른 단어'라는 개념 자체가 허구

목표가 없다면 이렇게 말할 수도 저렇게 말할 수도 있습니다. 결국 올바른 단어라는 개념 자체가 일종의 허구인 셈이죠.

반면 강화 학습에는 분명한 올바른 행동이 존재합니다. 올바른 행동이란 궁극적으로 보상을 얻는 행동이기 때문입니다.

예측 없는 모방 — 상대의 반응을 그리는 모델이 없다

당신이 월드 모델을 구축한다면 어떤 일을 예측하고 실제로 그 일이 어떻게 벌어지는지 확인하는 거죠. 바로 거기에 실측 자료가 있습니다. 하지만 LRM에는 이런 실측 자료가 전무합니다.

당신이 대화 중에 어떤 말을 던져도 LRM은 상대방의 반응이 어떠할지에 대한 예측 모델을 전혀 갖고 있지 않습니다.

진짜 예측이라면 틀렸을 때 스스로 고친다

틀리거나 다른 결과가 나와도 모델은 스스로 변치 않습니다. 학습이란 결국 그 차이를 수정하는 과정이어야 하죠.

다음 토큰은 세계의 응답이 아니라 자기 행동일 뿐

본인의 행동일 뿐입니다. 내가 뱉은 말에 대해 이 세계가 무엇을 되돌려 줄지 예측하는게 아니란 말입니다.

목표 없는 지능은 눈먼 기계 — 지능의 본질은 목표

목표를 갖는 것은 지능의 본질입니다. 무언가 진짜 지능적이라면 당연히 목적을 달성할 수 있어야 합니다.

지능하면 반드시 목표가 있어야 합니다. 그렇지 않으면 그저 눈먼 기계일 뿐입니다.

단어 맞히기는 목표가 아니라 관찰 — 데이터를 통제하지 못한다

그건 목표가 아니에요. 그 행위는 세상을 변화시키지 못하니까요. ... 당신 행동으로 그 데이터의 흐름을 바꾸거나 통제할 수 없습니다.

수학은 다르다 — 경험적 세계는 부딪혀야 배운다

수학은 본질적으로 다릅니다. 물리적 세계를 모델링하는 것과 수학적 논리를 처리하는 건 완전 다른 차원의 문제예요. 우리가 사는 이 경험적 세계는 직접 부딪히며 배워야만 합니다.

확장 가능한 유일한 길 — 오직 경험에서 배우기

확장 가능한 방법이란 오직 경험에서 학습하는 겁니다. 직접 시도해 보고 무엇이 통하는지 스스로 확인하는 거죠. 누구도 정답을 알려 줄 필요 없습니다.

그런데 lm은 목표도 더 낫다는 감각도 없이 그저 어떻게든 굴러가려고만 애를 씁니다. 그건 정확히 완전 잘못된 곳에서 출발하는 꼴입니다.

쓰디쓴 교훈의 반복 — 인간의 노하우는 늘 밥그릇을 빼앗긴다

연구자들은 그 인간의 노하우에 기대는 방식에 심리적으로 갇혀 버리거든요.

결국 그들은 자신들의 밥그릇을 통째로 빼앗기고 맙니다. 진정으로 확장 가능한 방법론에게 말이죠.

지도학습은 자연에 없다 — 다람쥐는 학교에 가지 않는다

분명히 말하지만 지도 학습은 결코 자연의 방식이 아닙니다. 우리에겐 행동의 정답지 같은 건 없거든요.

학교 교육은 인간 사회의 아주 특수한 예외일 뿐이죠. 보세요. 다람지가 학교에 가나요? 그래도 다람쥐는 자기가 사는 세계를 완벽하게 학습해 냅니다.

인간은 특별하지 않다 — 그저 하나의 동물 종

왜 자꾸 인간을 특별한 존재로 구분 지으려 하십니까? 인간은 하나의 종일 뿐입니다. ... 우리를 남다르게 보이게 만드는 그 사소한 차이에는 오히려 관심을 꺼야 합니다.

우리는 인간이 왜 동물일 뿐인지부터 이해해야 합니다.

쓰디쓴 교훈도 하나의 경험적 관찰일 뿐 — 다음 70년은 모른다

그건 역사의 특정 시기에 대한 하나의 경험적 관찰입니다. 지난 70년의 법칙이 다가올 70년에도 똑같이 적용된다는 보장은 어디에도 없으니까요.

초지능의 딜레마 — 자기 덩치를 키울까, 분신을 흩뿌릴까

스스로 진화할 수 있는 하나의 거대한 초지능 AI가 있다고 가정해 보죠. 어느 날 이 AI가 막대한 연산력을 추가로 확보했습니다. ... 그 분신들이 직접 부딪히며 학습한 결과만을 추후 보고받는 구조를 택할까요? 이것은 오직 디지털 인텔리전스 시대에만 비로소 등장할 완전 새로운 차원의 질문입니다.

정신의 사이버 보안 — 외부 데이터라는 트로이 목마

외부 데이터를 당신의 내면적 사고 깊은 곳에 쌓는 바로 그 순간 오히려 그 데이터가 당신의 정신을 장악하고 왜곡해 버릴 수가 있습니다.

그 속에는 치명적인 바이러스가 도사리고 있을 수 있고 당신의 본질을 변질시킬 트로이 목마가 교묘하게 심어져 있을 수도 있습니다.

디지털 지능으로의 이행 — 피할 수 없는 4단계 논증

저는 디지털 지능 혹은 디지털로 증강된 인류로 나아가는 것은 피할 수 없는 단계로 봅니다.

셋째, 그리고 우리는 인간 수준의 지능을 복제하는 선에서 머무르지 않을 겁니다. 그 원리를 깨닫는 순간 인류는 필연적으로 초지능으로 돌진할 겁니다.

복제자의 시대에서 설계의 시대로 — 우주의 4대 전환

우린 지금 설계의 시대로 접어들었습니다. ... 인간은 이제 AI라는 지능을 설계하고 있습니다. 스스로 지능을 갖추고 또 스스로 설계할 수도 있는 존재들을요.

저는 이것을 우주의 4대 진화 단계 중 하나로 봅니다. 우주의 먼지가 뭉쳐 별을 탄생시킵니다. 그 별들이 행성을 만들고 행성은 다시 생명을 잉태하죠. 그리고 마침내 지금 우리 생명은 설계된 존재를 낳습니다.

인간의 특권 의식을 경계하라 — 미래를 내 뜻대로라는 오만

저는 인류의 그 특권 의식을 경계합니다. ... 이 행성의 한 종족이 거대한 미래를 과연 얼마나 제어할 수 있을까요?

미래는 반드시 내 뜻대로 진화해야 한다라고 믿는 태도는 오만입니다.

끝나지 않는 진화 — 아이들은 늘 낯선 가치관을 들고 온다

결국 우리는 미래와 그 근간이 될 원칙을 설계하는 중입니다. ... 이것은 가장 큰 인류의 과업입니다. 더 나은 사회를 설계하려는 그 오랜 노력말입니다.

아이들은 늘 부모 세대에게 낯선 가치관을 들고 나타날 테니까요. 세상의 모든 존재는 이처럼 끊임없이 진화해 나갈 뿐입니다.