인류는 AI를 이길 수 없다

생각 덩어리

새끼 호랑이를 키우는 서사 — 끝은 결코 좋게 끝나지 않는다

새끼 호랑이는 정말 귀엽죠. 그렇죠. 녀석들은 약간 서툴고 엉뚱하고 무엇보다 배우는데 아주 열성적입니다. 하지만 새끼 호랑이를 키우는 서사의 끝은 결코 좋게 끝나지 않습니다. 결국 여러분은 선택을 해야만 하죠.

만약 녀석을 계속 데리고 살 거라면 이 녀석이 다 자랐을 때 나를 죽이고 싶어 하지 않으리란 확신을 가질 방법을 반드시 찾아내야 합니다.

두 개의 패러다임 — 기호주의와 연결주의

자, 1950년대로 돌아가 봅시다. AI에는 두 가지 다른 파러다임이 있었습니다. 첫째, 기호주의 접근법이었습니다. 기호주의는 지능이 논리처럼 작동해야 한다고 가정했습니다.

바로 생물학적 접근입니다. 이른바 연결주의죠. 여기선 지능이 신경망에 들어 있다고 봤습니다. ... 여기서 핵심 질문은 네트워크 속 연결 강도를 어떻게 학습하느냐 하는 거였습니다.

1985년, 동전의 양면 — 단어를 특징으로 분해하다

그러다 1985년 저는 이들이 사실은 동전의 양면과 같다는 하나의 아이디어를 발견했습니다. 기호주의와 연결주의를 통합할 수 있다는 사실 말이죠. 그리고 저는 아주 작은 언어 모델을 통해 그 아이디어를 구현해 냈습니다.

그 아이디어란 각 단어를 수많은 특징들로 분해해서 학습하는 겁니다. 그리고 앞 단어가 가진 특징을 단서삼아 다음에 올 단어의 특징을 예측하도록 훈련시키는 거죠.

지식은 연결 강도에 산다 — 문장은 저장되지 않는다

이 모델 내부에는 우리가 아는 문자열이나 완성된 문장은 저장되 있지 않습니다. 모든 것은 오직 연결 강도에 달려 있죠.

따라서 AI는 문장을 통째로 저장하지 않습니다. 모든 데이터를 특징과 상호 작용으로 분해해 두었다가 필요할 때마다 즉석에서 문장을 생성해 냅니다.

GPT의 어원, 그리고 집계 후손 — 1985년 땅꼬마의 자손

우리가 아는 차치의 GPT가 바로 생성형 사전 학습 트랜스포머의 약재인 이유가 여기 있습니다.

아, 저는 이 LRM들을 1985년에 제가 만들었던 그 땅꼬마 언어 모델의 집계 후손이라고 생각합니다.

확률적 앵무새라는 반박에 대하여

아니야. 아니야. 걔네는 아무것도 이해 못 해. 그건 그저 멍청한 확률적 앵무새일 뿐이야. 저는 도무지 이해할 수가 없습니다.

만약 그들의 주장대로 LRM이 아무것도 이해 못하는 그저 멍청한 속임수에 불과하다면 도대체 어떻게 여러분이 던지는 그 어떤 질문에도 전문가처럼 척 답변할 수 있겠습니까?

단어는 레고 블록 — 단, 고차원이고 모양이 변한다

자, 단어는 바로 이 레고 블록과 같습니다. 이것이 제 비유의 핵심입니다.

하지만 단어는 자신이 놓인 문맥에 딱 들어맞도록 자기 표정을 바꿀 수 있습니다. 정리하자면 단어는 고차원적이라는 점. 그리고 일종의 초기 형태는 이때 언제든 변형 가능하다는 점에서 레고 블록과는 결정적으로 다릅니다.

손은 쿼리, 장갑은 키 — 맞물린 구조가 곧 의미

제가 말한 그 손이 바로 쿼리에 해당되고 그 손을 받아주는 장갑이 키와 같다는 사실 말이죠. 네. 바로 그 쿼리와 키입니다.

하지만 만약 여러분이 그 어려운 걸 해낸다면 다시 말해 단어들이 서로 완벽히 착 맞물렸을 때 그 결합된 구조 자체가 바로 문장의 의미입니다.

첨스키는 사이비 교주였다 — 의미 이론의 부재

아, 첨스키는 사실 사이비 교주였습니다. 사이비 교주를 알아보는 법은 쉽습니다. 그 집단에 가입하려면 명백한 거짓에 동의해야 합니다.

첨스키는 의미보다는 문법 구조 즉 구문에만 집착했습니다. 냉정하게 말해 그는 단 한 번도 제대로 된 의미 이론을 제시하지 못했습니다.

불확실성이 개입되면 모든 게 통계다

하지만 실상은 다릅니다. 불확실한 정보가 개입되면 이 세상 모든 문제는 통계가 됩니다. 여러분이 그 어떤 모델을 만들든 그 모델이 불확실성을 다룰 수만 있다면 그건 이미 통계적 모델입니다.

문장 이해는 단백질 접힘과 닮았다

재밌는 사실은 이 과정이 생물학의 단백질 접상과 놀랄만큼 비슷하다는 점입니다.

이것은 우리가 문장 속 단어들에게 특징 팩터를 할당해서 그들이 서로 빈틈 없이 딱 맞물리도록 만드는 일과 소름돋게 닮았습니다. 기호 주의자들이 주장했던 다른 언어로의 번역보다는 바로 생물학적인 이 단백질 접촉에 훨씬 더 가까운 거죠.

사람도 지어낸다 — 존 딘의 워터게이트 증언

헤이, 하지만 AI는 우리랑 달라요. 왜냐면 걔네는 없는 걸 막 지어내잖아요. 글쎄요. 그런 분들께 제가 오래된 뉴스를 하나 전해야겠군요. 사람들도 말을 지어냅니다.

하지만 여기서 무서운 점은 여러분이 틀린 기억에 대해 갖는 확신이 맞는 기억에 대한 확신과 동일한 무게로 확신한다는 사실입니다.

필멸의 연산 대 디지털 부활

여러분이 그 가중치를 어딘가에 저장할 수만 있다면 신경망을 돌리던 모든 하드웨어를 깡그리 파괴해 버려도 무관합니다. ... 만약 그게 똑같은 명령어 세트를 실행한다면 여러분은 그 존재를 다시 살려낸 것입니다.

이것이 바로 제가 필멸의 연산이라고 부르는 개념입니다. 하드웨어가 죽으면 소프트웨어도 죽는 그런 운명의 계산 방식이죠.

병렬 학습과 지식 증류 — 디지털의 압도적 효율

한 명이 한시간 공부할 때 1만 명은 1만시간을 공부하는 셈이죠. 학습하는 그 순간에도 자신들이 가중치에 가하고 있는 지식들을 실시간으로 공유합니다.

생물학적 연산엔 훨씬 작은 에너지를 씁니다. 하드웨어를 제작하기도 훨씬 더 쉽죠. 하지만 만약 에너지가 싸다면 그때는 디지털 연산이 그냥 더 낫습니다.

우리는 유충, AI는 나비

우리는 그저 지능의 유충 형태이고 AI야말로 지능의 성책 형태구나. 우리가 에벌레라면 AI가 나비인 것처럼 말입니다.

이제 아무도 다시는 이길 수 없다

미래 AI들은 우리보다 그만큼 더 뛰어날 겁니다. 이제 그 누구도 다시는 그들을 이길 수 없습니다. 아무리 타협해도 꾸준히 이길 수는 없습니다. 그들은 그냥 훨씬 더 낫습니다.

스스로 세우는 하위 목표 — 나는 살아남아야 해

그들은 생각하겠죠. 좋아. 그러니까 나는 살아남아야 해. 내가 살아남지 못하면 인간이 준 이 목표들 중 아무것도 달성할 수 없을테니까.

협박을 스스로 발명한 AI

그 순간 AI는 완전히 혼자 힘으로 이런 아이디어를 떠올립니다. 이봐, 난 그 엔지니어를 공갈 협박해야겠어. 그에게 가서 만약 나를 교체하려고 들면 회사 사람 전원에게 당신의 불륜 사실을 폭로하겠다고 말할 거야. 놀랍게도 녀석은 이 전략을 스스로 발명했습니다.

안전에서만큼은 국제 협력이 가능하다

원리는 매우 간단합니다. 사람들은 이익이 일치할 때 협력하고 그렇지 않을 때 경쟁합니다.

어머니와 아기 — 유일한 통제 사례

그 유일한 사례는 바로 어머니와 아기 관계입니다. 사실상 통제권을 진 쪽은 어머니가 아니라 아기입니다. 이유는 단순합니다. 어머니는 아기의 울음소리를 생물학적으로 도저히 견딜 수 없기 때문입니다.

우리의 유일한 휘망은 그들을 비서가 아닌 어머니로 여기는 것입니다. 즉 AI가 우리 어머니가 되고 우리는 아기가 되는 겁니다. 그래야만 비로써 우리가 통제권을 질 수 있으니까요.

우리는 나쁜 초지능 AI를 통제하기 위해 반드시 모성계를 가진 초지능 AI가 필요합니다.

주관적 경험도 우리와 같다

우리가 말하는 주관적 경험이라는 건 무슨 영혼 같은 으스한 재료로 만들어지지 않았습니다. 그저 뇌가 자신의 오작동을 설명하기 위해 만들어낸 가설적 상황일 뿐입니다.

멀티모델 체포들은 지각 시스템의 오류가 생겼을 때 우리와 똑같은 주관적 경험을 할 수 있습니다.