최소후회 (minimax regret)

너, 내일 야외 결혼식에 큰 천막을 빌릴지 말지를 오늘 정해야 한다고 해보자. 천막을 빌리면 돈이 든다. 안 빌렸는데 비가 쏟아지면 하객들이 다 젖고 식은 엉망이 된다. 빌렸는데 날이 쨍하면 멀쩡한 돈만 날린 꼴이다. 자, 내일 비가 올 확률이 얼마냐고? 그걸 알면 고민도 아니다. 일기예보는 반반이라며 발을 빼고, 너는 확률조차 모르는 채 지금 결정을 내려야 한다. 이럴 때 사람 머릿속에서 슬그머니 돌아가는 셈이 하나 있다. 너는 미래의 네 모습을 두 갈래로 미리 그려 본다. 천막을 안 빌렸는데 비가 와서 식을 망치고 땅을 치는 나. 그리고 천막을 빌렸는데 날이 좋아서 돈 좀 아꼈으면 하고 가볍게 입맛 다시는 나. 어느 쪽 후회가 더 견디기 힘든가. 그 더 큰 후회를 피하는 쪽으로 너는 몸을 기울인다. 오늘 이야기는, 이 '나중에 덜 땅을 치는 쪽으로 고른다'는 너무도 인간적인 셈을 처음으로 종이 위 표 한 칸 한 칸에 박아 넣은 한 사람에 관한 거다.

때는 대략 20세기 중엽으로 거슬러 올라간다. 그 무렵 통계학과 의사결정 이론에는 한 사람이 드리운 무거운 그림자가 있었다. 아브라함 발트라는 수학자다. 그가 내놓은 처방은 철저한 비관주의자의 것이었다. 세상이 너에게 줄 수 있는 가장 나쁜 결과들만 골라 죽 늘어놓고, 그중 그나마 제일 덜 나쁜 길을 택하라는 것. 최악들 가운데 최선, 이른바 맥시민이다. 안전하기야 하다. 그런데 이 셈법은 사람을 자꾸 겁쟁이로 만든다. 만에 하나의 파국이 무서워, 웬만하면 다 잘 풀릴 길까지 통째로 포기하게 만드는 거다. 여기에 고개를 갸웃한 미국의 젊은 통계학자가 있었다. 레너드 지미 새비지. 훗날 경제학자 밀턴 프리드먼이 평생 만나 본 몇 안 되는 진짜 천재라 불렀던 사람이다. 1951년, 새비지는 한 논문에서 발트의 비관을 살짝 비틀었다. 그의 물음은 이거였다. 사람이 정말로 괴로워하는 건 '나쁜 결과' 그 자체가 아니지 않나. 비가 와서 다 젖은 게 진짜 쓰라린 게 아니라, '그때 천막만 빌렸어도'라는 생각, 더 나은 길이 멀쩡히 있었는데 그걸 놓쳤다는 그 자각이 사람을 진짜로 갉아먹는 거 아니냐고. 그는 이 놓쳐 버린 몫에 후회라는 이름을 붙였다.

새비지의 셈법은 손에 잡힐 듯 또렷하다. 끝까지 한번 풀어 보자. 다시 그 천막이다. 표를 하나 그린다. 가로축엔 내가 고를 수 있는 선택 — 빌린다, 안 빌린다. 세로축엔 내가 어쩔 수 없는 미래의 상황 — 맑음, 비. 이제 칸마다 채워야 할 건 결과 그 자체가 아니다. '그 상황이 닥쳤을 때, 내가 할 수 있었던 최선에서 내 선택이 얼마나 모자랐나' 그 손실이다. 비가 오는 세상을 보자. 그 세상에서 최선의 수는 천막을 빌린 것이었다. 그러니 빌렸다면 후회는 0, 안 빌렸다면 식을 통째로 망친 만큼이 후회로 쌓인다. 큰 숫자가 박힌다. 이번엔 맑은 세상. 거기선 안 빌리는 게 정답이었으니, 안 빌렸으면 후회 0, 빌렸으면 헛돈 쓴 만큼만 후회가 남는다. 천막값은 식을 망친 손해에 대면 푼돈이니, 작은 숫자다. 자, 이제 각 선택지마다 일어날 수 있는 '가장 큰 후회'에만 눈을 박아라. 안 빌리는 길의 최대 후회는 식을 망친 큰 숫자. 빌리는 길의 최대 후회는 헛돈이라는 작은 숫자. 그렇다면 답은 정해졌다. 최대 후회가 더 작은 쪽, 천막을 빌린다. 각 길이 데려올 수 있는 최악의 후회를 뽑아, 그 최악의 후회가 가장 작은 길을 고른다. 그래서 이름이 최소후회, 미니맥스 리그렛이다.

재미있는 건, 같은 발상을 새비지가 세상에 내놓기 몇 해 전, 스위스의 한 경제학자 위르크 니한스가 1948년에 따로 더듬고 있었다는 점이다. 값을 매기기 어려운 불확실한 기대 속에서 어떻게 값을 정할지를 고민하다 비슷한 자리에 닿았던 거다. 한 생각이 무르익으면 서로 모르는 두 사람의 손끝에서 거의 동시에 솟는 일, 그게 또 여기서도 일어난 셈이다. 다만 이 사고법을 또렷한 한 채의 틀로 세워 후대에 넘긴 건 새비지였고, 곧이어 1954년 존 밀너라는 수학자가 '불확실성 아래 합리적 결정이 갖춰야 할 성질이 무엇인가'를 공리로 따져 가며, 최소후회가 그 깐깐한 잣대들을 어떻게 통과하고 또 어디서 걸리는지를 냉정히 저울질해 주었다. 갓 태어난 직관이 학문의 골격을 얻은 대목이다.

그런데 정작 이 도구를 누구보다 깊이 판 새비지 자신은, 곧 다른 길로 걸어갔다. 그는 1954년 통계학의 토대를 다시 쌓은 책에서, 확률이란 세상에 객관적으로 박혀 있는 게 아니라 각자가 믿는 만큼의 주관적 무게라는 생각을 정교하게 세운다. 오늘날 베이즈 통계의 한 기둥을 세운 게 바로 이 사람이다. 즉 그는 '확률을 모를 때 쓰는 도구'인 최소후회를 자기 손으로 빚어 놓고는, 정작 자신은 '확률을 믿음으로 매겨 끝까지 밀고 가는' 정반대 진영의 아버지가 되어 버렸다. 그래서 한동안 최소후회는, 그 깐깐한 공리들 앞에서 '상황 하나를 새로 끼워 넣으면 멀쩡하던 두 선택의 우열이 뒤집히기도 한다'는 흠까지 들춰지며, 주류의 변두리에 비켜서 있었다.

이 변두리의 도구가 화려하게 왕좌로 올라온 무대는 뜻밖에도 컴퓨터였다. 오늘날 기계는 한 번 정하고 끝나는 결정이 아니라, 같은 판단을 수천 수만 번 거듭하는 상황에 끝없이 놓인다. 광고를 누구에게 띄울지, 어느 길로 데이터를 흘려보낼지, 매 순간 패를 어떻게 낼지. 이때 기계의 잘잘못을 재는 잣대로 학자들이 집어 든 것이 바로 후회다. '돌이켜 보니, 처음부터 줄곧 최선의 수만 뒀더라면 얻었을 몫'에서 '실제로 내가 얻은 몫'을 뺀 그 차이, 그 누적된 후회를 시간이 흘러도 거의 안 불어나게 묶어 두는 알고리즘 — 이른바 후회를 0으로 수렴시키는 학습법이 한 시대를 풍미했다. 정점은 포커였다. 상대가 내 패와 속셈을 모르는, 그래서 확률 분포를 깔끔히 알 수 없는 그 게임에서, 기계는 매 판 '이 자리에서 저 수를 뒀어야 했는데' 하는 후회를 칸칸이 쌓고 그걸 줄이는 쪽으로 자기 전략을 끝없이 고쳐 나갔다. 그렇게 반사실적 후회를 최소화하는 방식으로 다듬어진 기계가, 끝내 세계 최고의 인간 포커 선수들을 꺾었다.

여기서 네가 정말 눈여겨봐야 할 대목이 있다. 기계가 이걸 해내려면, 생각의 가장 윗단추부터 갈아 끼워야 했다. 원래 우리가 익숙한 셈은 '미래에 무엇이 얼마의 확률로 일어날지'를 먼저 알아내고, 그 확률을 무게 삼아 기대값을 따지는 길이다. 그런데 최소후회는 그 윗단추를 통째로 뺀다. 미래의 확률 따위 모른다고, 알 수 없다고 인정해 버리고 시작하는 거다. 대신 판단의 자리를 '무엇이 일어날까'에서 '어떤 상황이 닥치든, 나중에 내가 가장 적게 땅을 치려면'으로 옮겨 앉힌다. 세상을 예측하려던 눈을, 어떤 세상이 와도 후회만은 가장 작게 틀어막겠다는 눈으로 갈아 끼우는 것. 확률을 모른다는 무지를 약점이 아니라 출발점으로 끌어안은 그 발상의 전환이 있고 나서야, 기계는 속을 알 수 없는 상대 앞에서도 흔들리지 않고 버틸 수 있었다.

그러니 너가 앞날의 확률조차 가늠이 안 되는 갈림길 앞에 서거든 — 이 시장이 열릴지 닫힐지도 모르고, 저 사람이 배신할지 도울지도 모르겠는 그런 자리에서 — 일어날 확률을 끝내 못 맞히겠다고 너무 괴로워 마라. 대신 각 선택지마다 시간을 미래로 돌려, 가장 쓰라리게 땅을 치게 될 그 한 장면을 또렷이 그려 봐라. 그 최악의 후회들을 나란히 놓고, 그중 가장 견딜 만한 길을 골라라. 최선을 맞히려 들지 말고, 어떤 결과가 와도 후회가 가장 작은 자리에 미리 가 앉아라. 그게 확률을 모른다고 솔직히 인정한 한 통계학자가, 표 한 칸 한 칸에 후회를 적어 내려가며 남긴 생각의 전부다.