의사결정나무 (decision tree)

너, 작은 회사 하나를 맡았다고 해보자. 새 제품을 만들 건데, 공장을 작게 지을지 크게 지을지 결정해야 한다. 크게 지으면 제품이 잘 팔릴 때 떼돈을 벌지만, 안 팔리면 텅 빈 설비의 빚더미에 깔린다. 작게 지으면 잘 팔려도 물량을 못 대 기회를 놓치지만, 안 팔려도 크게 다치진 않는다. 자, 너는 머릿속이 복잡해진다. 그런데 여기서 진짜 까다로운 건, 이 결정이 한 번으로 안 끝난다는 거다. 작게 지었다가 시장이 뜨거우면, 이태쯤 뒤에 증설할지 말지를 또 정해야 한다. 선택 뒤에 운이 오고, 그 운 뒤에 또 선택이 오고, 그 선택 뒤에 또 운이 온다. 이걸 머릿속에서만 굴리면 반드시 어디선가 길을 잃는다. 오늘 이야기는, 이 엉킨 갈림길들을 한 장의 그림으로 풀어낸 방법, 그리고 그 그림이 사람의 손을 떠나 기계의 머릿속으로 들어가며 겪은 뜻밖의 반전에 관한 거다.

이 발상에 또렷한 모양과 이름을 입혀 세상에 내놓은 사람은 존 매기라는 경영 컨설턴트였다. 대략 1964년, 그는 하버드 비즈니스 리뷰에 두 편의 글을 잇따라 실었는데, 그중 하나 제목이 그대로 '의사결정을 위한 나무'였다. 그가 든 예가 방금 너에게 낸 바로 그 공장 문제다 — 가상의 화학회사 하나를 세워 놓고, 작은 공장이냐 큰 공장이냐를 따졌다. 매기가 한 일은 묘하게 단순하다. 종이 위에 점을 하나 찍고, 거기서 가지를 뻗는다. 네가 손수 고르는 갈림길은 네모로, 운이 정하는 갈림길은 동그라미로 구분해 그린다. 큰 공장을 짓는 가지를 따라가면 곧 동그라미가 나오고, 거기서 시장이 뜨거울 가지와 식을 가지가 또 갈라진다. 가지 끝마다 손에 쥘 돈을 적고, 그 가지에 닿을 확률을 매긴다. 그러고는 끝에서부터 거꾸로 거슬러 올라오며 평균값을 접어 들인다. 머릿속에서 안개처럼 떠돌던 '경우의 수'가, 손으로 짚어 갈 수 있는 길이 된 거다. 보이지 않던 미래가 나뭇가지로 눈앞에 펼쳐진 셈이다.

매기의 그림은 마침 좋은 때를 만났다. 비슷한 무렵 스탠퍼드의 로널드 하워드라는 학자가 이런 식의 따짐을 통째로 묶어 하나의 학문으로 세우고 '의사결정 분석'이라는 이름을 붙이고 있었다. 그 뒤로 의사결정나무는 거대한 투자, 신약 개발, 유전 시추 같은 — 돈이 크게 걸리고 운이 깊이 끼는 — 자리마다 단골로 불려 다녔다. 망설임을 그림으로 바꿔, 임원 회의 탁자 위에 올려놓을 수 있게 해 줬으니까.

그런데 이 나무가 정말로 무섭게 자란 건 경영 컨설팅 바깥, 기계의 세계에서였다. 그리고 여기서 발상이 한 번 뒤집힌다. 매기의 나무는 사람이 손으로 그리는 거였다. 어디서 가지를 칠지, 확률을 얼마로 잡을지를 사람이 정했다. 그런데 1980년대 들어 캘리포니아의 통계학자 리오 브레이먼, 그리고 호주의 로스 퀸런 같은 이들이 거꾸로 된 질문을 던진다. 사람이 나무를 그리는 게 아니라, 데이터 더미를 던져 주면 기계가 스스로 가지를 쳐 나가게 할 수는 없을까? 퀸런이 1986년에 내놓은 방법이 그 분수령이었다. 자료를 앞에 놓고, '어느 질문으로 갈라야 뒤엉킨 무리가 가장 깔끔하게 둘로 나뉘나'를 매번 계산해, 가장 잘 가르는 질문을 골라 가지를 친다. 그렇게 기계가 제 손으로 나무를 길러 내기 시작하자, 의사결정나무는 경영의 보조 도구에서 '데이터를 보고 스스로 규칙을 빚어내는' 기계학습의 당당한 한 갈래로 올라섰다. 가지를 따라 위에서 아래로 내려가다 보면 '이 손님은 대출을 갚을 사람인가', '이 사진은 고양이인가'라는 판정이 끝가지에서 툭 떨어진다.

여기서 이야기가 함정에 빠진다. 기계가 길러 낸 나무는 자라도 너무 잘 자라는 게 문제였다. 가진 자료에 끝까지 맞추려 들면, 나무는 자료 한 점 한 점의 변덕까지 가지로 새겨 버린다. 손에 쥔 데이터는 거의 완벽하게 맞히는데, 처음 보는 새 데이터 앞에서는 어이없이 빗나간다. 자료를 '이해'한 게 아니라 '통째로 외워' 버린 거다. 이걸 과적합이라 부르는데, 한 그루의 똑똑한 나무가 빠지기 쉬운 함정이다. 가지 하나를 다르게 쳤을 뿐인데 결론이 휙 뒤집히기도 한다. 외나무는 그만큼 위태롭다.

이 함정을 가장 멋지게 빠져나온 사람이 다시 리오 브레이먼이다. 2001년, 일흔을 넘긴 노학자가 내놓은 답은 무릎을 치게 한다. 한 그루의 완벽한 나무를 그리려 애쓰지 마라. 차라리 어딘가 엉성한 나무를 수백 수천 그루 길러서, 다 같이 투표를 시켜라. 비결은 일부러 흠을 주는 데 있었다. 나무마다 자료의 일부만 다르게 떼어 주고, 갈림길에서 따져 볼 질문도 일부만 무작위로 골라 쥐어 준다. 그러면 나무들은 저마다 조금씩 다른 데서 헛발을 딛지만, 그 헛발들은 한쪽으로 쏠리지 않고 서로 어긋난다. 수천 그루가 한 표씩 던져 다수결로 정하면, 제각각의 실수는 상쇄되고 공통의 진실만 남는다. 그는 이 나무들의 무리에 숲이라는 이름을 붙였다. 무작위로 엮은 숲. 한 그루의 천재가 아니라 어중이떠중이 군중의 평균이 더 현명할 수 있다는, 이 단순하고도 깊은 깨달음이 한동안 가장 믿음직한 예측 도구로 군림했다.

여기서 네가 정말 눈여겨봐야 할 대목이 있다. 매기에서 브레이먼의 숲으로 건너오는 길은, 단순히 도구가 좋아진 게 아니다. 생각의 가장 윗단추가 갈렸다. 매기의 세계에서는 사람이 가진 통찰로 '하나의 옳은 나무'를 그려 내는 게 목표였다. 나무가 깔끔하고 해석 가능하다는 게 미덕이었지. 그런데 숲의 세계에서는 그 미덕을 일부러 버린다. 사람은 숲 속의 어느 나무 한 그루가 왜 그렇게 갈라졌는지 더는 또렷이 설명하지 못한다. 대신 수천 그루의 집단지성이 던지는 더 정확한 답을 손에 쥔다. '한 점의 또렷한 이해'를 포기하고 '한 무리의 흐릿한 정확함'을 택한 것, 단일한 전문가의 그림보다 수많은 어설픈 그림들의 평균을 더 믿기로 한 것 — 그 윗단추를 새로 끼우고 나서야 기계의 판단은 사람의 손그림을 넘어섰다. 외나무의 위태로움을 숲의 너그러움으로 갈아 치운 사건이다.

그러니 너가 운과 선택이 번갈아 끼어드는 결정 앞에서 머릿속이 엉키거든, 일단 종이에 점을 찍고 가지부터 뻗어라. 네가 고를 갈림길과 운이 정할 갈림길을 또렷이 갈라 그리고, 끝가지마다 값과 확률을 적어 거꾸로 접어 올라와라. 그리고 한 가지 더 — 단 하나의 그럴듯한 시나리오에 전 재산을 걸지 마라. 조금씩 다른 가정으로 여러 그루를 그려 보고, 그것들이 한목소리로 가리키는 길을 따라가라. 외나무 한 그루의 확신보다, 숲의 다수결이 너를 덜 위험한 곳으로 데려간다. 그게 한 장의 나뭇가지 그림에서 시작된 생각의 전부다.