게임이론적 사고 (game-theoretic)

너, 좁은 골목에서 맞은편에서 걸어오는 사람과 정면으로 마주쳤다고 해보자. 부딪히지 않으려면 한 사람이 비켜야 한다. 너는 왼쪽으로 틀까 오른쪽으로 틀까. 그런데 그 찰나에 네 머릿속에서 벌어지는 일이 묘하다. 너는 그냥 네가 갈 길만 고르는 게 아니다. '저 사람은 어느 쪽으로 피할까'를 먼저 헤아리고, 그걸 헤아린 다음에 네 방향을 정한다. 더 기막힌 건, 저쪽도 똑같이 '이 사람은 어디로 틀까'를 헤아리며 너를 읽고 있다는 거다. 그래서 둘이 같은 쪽으로 틀어 또 막아서고, 멋쩍게 웃으며 반대로 틀었다가 또 마주 보는, 그 우스꽝스러운 춤이 벌어진다. 누가 가르쳐 준 적도 없는데 너는 지금, 내 선택이 상대의 선택에 달려 있고 상대의 선택도 내 선택을 읽고 있다는 그 얽힘 속에서 한 수를 두고 있다. 오늘 이야기는, 이 너무도 당연한 얽힘에 처음으로 차가운 수학을 입힌, 무서울 만큼 머리 좋은 한 사람에 관한 거다.

20세기 전반, 헝가리 태생의 존 폰 노이만이라는 천재가 있었다. 암산으로 동료들을 질리게 하던 사람이고, 훗날 현대 컴퓨터의 설계 원리에까지 이름을 남긴 인물이다. 그가 젊은 날 붙든 물음은 도박이나 카드놀이의 뒷면에 깔린 것이었다. 둘이 서로의 패를 모르고, 한쪽이 따면 다른 쪽이 그만큼 잃는 승부에서, 과연 '최선의 수'라는 게 수학적으로 딱 정해질 수 있는가. 1928년 그는 답을 내놓는다. 서로가 상대의 가장 모진 반격까지 다 가정하고 둔다면, 양쪽의 최선이 만나는 단 하나의 값이 존재한다는 것 — 미니맥스 정리다. 그러나 이게 한낱 카드놀이의 셈을 넘어 하나의 학문으로 올라선 건, 1944년 경제학자 오스카어 모르겐슈테른과 함께 두꺼운 책 한 권을 펴내면서였다. 책의 제목이 곧 이 학문의 이름이 됐다. '게임의 이론과 경제 행동.' 이 순간, 인간이 서로를 읽으며 두는 모든 수 — 흥정, 전쟁, 거래, 연애 — 가 처음으로 '게임'이라는 한 단어 아래 묶여 계산의 대상이 됐다.

그런데 폰 노이만의 세계에는 답답한 울타리가 하나 있었다. 그의 정리는 한쪽이 딴 만큼 정확히 다른 쪽이 잃는 승부, 즉 파이의 크기가 고정된 제로섬 싸움에서만 깔끔하게 돌아갔다. 하지만 세상사 대부분은 그렇지 않다. 둘이 협력하면 둘 다 잘되고, 둘이 다투면 둘 다 망하는 — 파이 자체가 우리 선택에 따라 커지고 쪼그라드는 판이 훨씬 많다. 이 울타리를 넘은 사람이 스물 갓 넘은 청년 존 내시였다. 1950년, 그는 서른 쪽도 안 되는 박사 논문에서 무시무시하게 일반적인 답을 내놓는다. 제로섬이든 아니든, 사람이 몇이든, 협력이 가능하든 아니든 — 어떤 게임이든 모두가 '상대가 저 수를 둔다면 나는 이 수가 최선'이라 여겨 아무도 혼자 발을 뺄 이유가 없는 안정된 지점이 적어도 하나는 반드시 존재한다는 것. 그 지점에 그의 이름이 붙었다. 내시 균형. 게임이론적 사고의 심장이 여기서 뛰기 시작한다.

이 심장이 얼마나 섬뜩한 물건인지는, 같은 1950년 프린스턴에서 앨버트 터커가 학생들에게 들려주려고 지어낸 한 이야기로 드러난다. 너에게 그대로 풀어 주겠다. 너와 네 공범이 따로 떨어진 취조실에 갇혔다. 검사가 똑같은 제안을 한다. 네가 자백하고 상대가 입을 다물면 너는 풀려나고 상대는 십 년을 산다. 둘 다 자백하면 사이좋게 오 년씩. 둘 다 입을 다물면 증거가 약해 일 년씩만 산다. 자, 너는 상대를 볼 수 없다. 차갑게 계산해 보자. 상대가 입을 다물 경우, 너는 자백하는 게 낫다(풀려나니까). 상대가 자백할 경우에도, 너는 자백하는 게 낫다(십 년 대신 오 년). 어느 쪽이든 자백이 유리하다. 그래서 너도 자백하고 상대도 똑같은 계산 끝에 자백한다. 결과는 둘 다 오 년. 그런데 가만 보라. 둘이 입만 맞춰 다물었으면 일 년씩이면 됐다. 각자가 한 치의 오차 없이 '합리적'으로 두었는데, 둘이 함께는 더 나쁜 자리에 처박힌 거다. 이게 그 악명 높은 죄수의 딜레마다. 내시 균형이 늘 모두에게 좋은 자리는 아니라는 것 — 개인의 합리가 모이면 집단의 비합리가 될 수 있다는 이 불편한 진실이, 게임이론이 인류에게 안긴 가장 묵직한 선물이다.

이 도구를 가장 멀리, 가장 무겁게 휘두른 사람은 의외로 수학자가 아니었다. 토머스 셸링이라는 경제학자다. 1960년 그가 쓴 책 '갈등의 전략'은, 핵무기를 손에 쥔 두 강대국이 서로를 마주 본 냉전의 한복판에 게임이론을 들이밀었다. 그의 통찰은 상식을 뒤집는 것이었다. 어떤 게임에서는 내 손을 묶어 후퇴할 길을 스스로 끊어 버리는 것이 오히려 강력한 수가 된다. 핸들을 꺾어 창밖으로 던져 버린 운전자가 치킨게임에서 이기듯이. 그는 적이 먼저 쳐도 반드시 보복할 수 있는 '제2격' 능력을 눈에 보이게 갖춰 두는 것이야말로 전쟁을 막는 길이라 논증했고, 서로 약속이라도 한 듯 같은 지점으로 수렴하는 '초점'이라는 개념도 벼려 냈다. 말 한마디 없이도 두 적국이 '핵은 쓰지 않는다'는 선 하나에 암묵적으로 멈춰 선 그 균형의 논리를, 그는 칠판 위 게임으로 풀어냈다. 인류가 핵전쟁이라는 최악의 균형을 피해 간 그 아슬아슬한 평화의 설계도에 그의 지문이 찍혀 있다. 셸링은 이 공로로 2005년 노벨 경제학상을 받는다. 골목길에서 누가 비킬지를 읽던 그 셈이, 문명의 생사를 가르는 자리까지 올라간 것이다.

이 사고가 컴퓨터로 들어가는 길목에서, 너는 정말 눈여겨봐야 할 대목을 만난다. 1980년 무렵, 정치학자 로버트 액설로드가 별난 실험을 했다. 죄수의 딜레마를 수백 번 반복하는 게임에, 세계의 학자들이 짠 전략 프로그램들을 출전시켜 컴퓨터 안에서 서로 맞붙게 한 거다. 온갖 교활한 술수가 동원됐지만, 우승은 어이없을 만큼 단순한 전략이 차지했다. 처음엔 협력하고, 그다음부터는 상대가 직전에 한 그대로 갚아 주는 것 — 맞대응 전략이었다. 먼저 배신하지 않되 당하면 반드시 되갚고, 상대가 돌아오면 즉시 용서한다. 협력이 어떻게 살아남는가에 대한 답이 컴퓨터 토너먼트에서 튀어나온 셈이다. 그리고 오늘날, 사람의 패를 읽으며 허세까지 부려야 하는 포커 같은 게임에서 인공지능이 최정상 인간을 꺾었는데, 그 기계가 한 일이 바로 내시 균형에 한없이 가까운 전략을 스스로 찾아낸 것이었다. 그런데 이게 가능하려면 생각의 윗단추부터 다시 끼워야 했다. 보통의 기계 학습은 고정된 자연을 상대로 정답을 맞혀 가지만, 게임에서는 내 상대가 나를 거꾸로 학습하며 끊임없이 수를 바꾸는 '움직이는 과녁'이다. 그래서 기계는 자기 자신의 복제본과 수천만 판을 맞붙어, 내가 강해지면 상대도 같이 강해지는 그 끝없는 군비경쟁 속에서 더는 어느 쪽도 일방적으로 이득 볼 수 없는 균형으로 수렴해 들어갔다. '고정된 세계에 맞서는 최적'에서 '나를 마주 계산하는 지성에 맞서는 최적'으로 — 그 상위 틀을 통째로 갈아 끼우고 나서야, 기계는 비로소 사람과 머리싸움을 할 수 있게 됐다.

그러니 너가 혼자가 아니라 누군가와 맞물린 판 앞에 서거든 — 협상 테이블이든, 경쟁사와의 가격 싸움이든, 누구와의 신경전이든 — 네가 무엇을 원하는지만 들여다보지 마라. 한 발 물러나, 상대의 자리에 앉아 그가 너를 어떻게 읽고 무엇을 최선으로 둘지부터 헤아려라. 그리고 그가 그렇게 둘 때 네가 둘 최선과, 네가 그렇게 둘 때 그가 둘 최선이 서로 맞물려 멈추는 그 지점을 찾아라. 거기가 진짜 판이 멈추는 자리다. 때로는 그 균형이 둘 다에게 나쁠 수도 있음을 알아채고, 판의 규칙이나 약속으로 그 자리를 함께 옮길 수 있는지까지 보는 것 — 그게 골목길의 어색한 춤 한 번에서 시작된 생각의 전부다.