메타는 책임감이 없고 오픈AI는 변심했다

생각 덩어리

우리가 만들고 있는 외계 침공 함대 — 10년 뒤 도착할, 우리보다 똑똑한

만약 어떤 망원경이 앞으로 약 10년 뒤 이곳에 도착할 외계 침공 함대를 발견했다고 가정해 보시죠. 우리는 두려워할 테고 어떻게든 대비를 할 것입니다. 글쎄요. 지금 우리 상황이 바로 그 예시입니다. 우리가 바로 그 외계인들을 만들고 있습니다. 그리고 그들은 약 10년 뒤에 이곳에 도착할 겁니다. 그리고 그들은 우리보다 더 똑똑할 겁니다.

메타는 책임감이 없고, 오픈AI는 변심했다 — 떠나는 안전 연구원들

예를 들어 제 생각에 메타는 특별히 책임감이 있지 않습니다. 오픈 AI는 원래 이 문제에 대해 책임감을 갖기 위해 설립된 것입니다. 하지만 날이 갈수록 책임감이 줄어들고 있습니다. 그리고 그들의 최고 안전성 연구원들은 모두 떠나고 있거나 이미 떠났습니다.

경쟁이 아니라 생존 — 관심의 방향이 틀렸다

네. 그게 그게 바로 문제입니다. 그들은 경쟁에 훨씬 더 관심이 많지요. 그들은 인류가 이 경쟁에서 살아남을 수 있을지 없을지에 훨씬 더 관심을 가져야만 합니다.

덜 똑똑한 존재가 더 똑똑한 존재를 통제하는 단 하나의 모델 — 아기와 엄마

혹시 덜 지능적인 존재가 더 지능적인 존재를 통제하는 그런 모델이 있는가? 그리고 우리에겐 딱 하나의 모델만 있습니다. 우리 모두가 아는 모델이죠. 바로 아기가 엄마를 통제하는 모델입니다.

진화는 아기가 어머니를 통제할 수 있도록 엄청난 공을 드렸습니다. 그리고 어머니는 사실 종종 자신보다 아기를 더 걱정하지요.

하지만 우리는 우리가 아기이고 그들이 어머니라는 것을 받아들여야만 합니다.

CEO와 비서라는 틀린 모델 — 해고하면 그만이라는 착각

그들의 기본 모델은 이겁니다. 나는 CEO이고 이 초지능 AI는 극도로 똑똑한 임원 비서다.

AGI가 우리보다 더 똑똑하고 더 강력해지면 그렇게 될 리가 없습니다. 아, 그건 그냥 틀린 모델입니다.

AI 장악만큼은 모두가 반대한다 — 미중이 협력할 수 있는 지점

모든 다른 국가들이 AI가 인간을 장악하는 것을 원하지 않는다는 점에서는 생각이 일치한다는 겁니다.

중국 공산당도 AI가 장악하는 것을 원치 않고 트럼프도 AI가 장악하기를 원치 않습니다.

트럼프는 사실상 시진핑을 위해 일한다 — 기초 연구를 공격하는 자해

트럼프는 마치 푸틴을 위해 일하는 것처럼 보이지만 사실 대학들을 공격하고 기초 과학 예산을 공격하는 그런 그의 행동은 마치 시진핑을 위해 일하는 것과 같습니다.

기초 연구를 공격하는 것의 진짜 문제는 당신이 그 피해를 10년 15년 20년 동안 전혀 느끼지 못한다는 점입니다.

1조 달러는 결국 일자리 대체로만 회수된다

회사의 수익성을 더 높이는 방법은 노동자들을 더 저렴한 무언가로 대체하는 것이죠. 그리고 제 생각엔 그것이 바로 AI 투자를 주도하는 가장 큰 부분이라고 생각합니다.

저는 그럴 수 없다고 믿습니다. 저는 돈을 벌기 위해서는 ... 인간의 노동력을 대체해야만 할 것이라고 믿습니다.

산업 혁명과 다르다 — 그때는 통제했지만 이번엔 아니다

우리는 산업 혁명 때 우리보다 더 강력한 것들을 가졌습니다. 하지만 우리가 항상 그것들을 통제했지요.

어떤 경제학자들은 아, 이런 큰 변화는 항상 새로운 일자리를 창출한다라고 말합니다. 아, 뭐 저는 이번에도 그럴 것인지 명확하지가 않습니다.

문제는 AI가 아니라 사회를 조직한 방식이다

그것이 나쁜 이유는 사회가 조직된 방식 때문입니다. 그래서 머스크는 더 부자가 될 것이고 수많은 사람들은 실직할 것이며 머스크는 신경 쓰지 않을 겁니다.

그것은 AI 탓이 아닙니다. 그것은 우리가 사회를 어떻게 조직하느냐의 문제입니다.

핵무기와는 다르다 — 그래서 멈추기 어렵다

이건 오직 나쁜 일에만 쓰이는 핵무기 같은 것이 아닙니다. 이건 어려운 결정입니다. 왜냐하면 이것은 의료와 교육에서 엄청난 선을 행할 수 있기 때문입니다.