휴리스틱 (heuristics)

너, 처음 가 본 낯선 도시에서 저녁을 먹어야 한다고 해보자. 식당이 수백 개다. 진짜로 '가장 맛있는 집'을 찾으려면 전부 들어가 먹어 보고 비교해야 하는데, 그러자면 평생을 먹기만 해도 모자란다. 그래서 너는 어떻게 하나. 골목을 슬쩍 보고 손님이 많은 집으로 들어간다. 메뉴판 가격이 너무 싸지도 비싸지도 않은 곳을 고른다. 현지인이 줄 선 데면 일단 믿는다. 이게 최선의 집이라는 보장은 어디에도 없다. 그래도 십중팔구 망하지는 않는다. 누가 가르쳐 준 적도 없는데 너는 지금, 완벽한 답을 깨끗이 포기하는 대신 '이만하면 됐다' 싶은 답을 빠르게 집어 드는 아주 오래된 기술을 쓴 거다. 오늘 이야기는, 이 어림짐작이 왜 게으름이 아니라 도리어 가장 영리한 행동인지를 한 사람이 증명해 낸 과정에 관한 거다.

이름의 뿌리부터 가 보자. 이 말은 그리스어 '헤우리스케인'에서 왔는데, 뜻이 의외로 단순하다. '찾아내다', '발견하다'. 그러니까 휴리스틱은 거창하게 옮기면 '찾아내는 기술'이다. 같은 핏줄의 단어가 하나 더 있다. 우리가 무언가를 깨달았을 때 외치는 '유레카'. 전해지기로는 고대 시라쿠사의 아르키메데스가, 왕이 받은 금관에 은이 섞였는지를 부수지 않고 알아내라는 난제 앞에서 끙끙대다, 목욕탕에 몸을 담그는 순간 물이 넘치는 걸 보고 부피로 푸는 길을 퍼뜩 깨치고는 벌거벗은 채 '찾았다, 찾았다' 하고 뛰쳐나갔다고 한다. 그 '찾았다'가 바로 헤우리스케인의 외침이다. 정답을 정면으로 계산해 낸 게 아니라, 옆길로 난 단서 하나를 낚아채 문제를 풀어 버린 그 장면 — 휴리스틱이라는 말의 정신이 거기 다 들어 있다.

이 옛 단어를 현대의 사고 도구로 닦아 세운 사람은 헝가리 출신 수학자 죄르지 포여다. 그는 1945년에 '어떻게 문제를 풀 것인가'라는 작은 책을 냈는데, 원고를 받아 줄 출판사를 찾지 못해 여럿에게 퇴짜를 맞은 끝에 겨우 세상에 나온 책이다. 그런데 이 책이 두고두고 수학 교육의 바탕이 됐다. 포여의 지혜를 한 장면으로 보여 주는 어림규칙이 하나 있다. 풀고 있는 문제가 너무 어려워 손도 못 대겠거든, 그것과 닮았지만 더 쉬운 문제를 먼저 풀어라. 이를테면 어떤 도형의 부피를 못 구하겠으면, 우선 그 비슷한 평면 도형의 넓이부터 구해 본다. 쉬운 쪽을 풀다 보면 풀이의 '결'이 손에 잡히고, 그 결을 어려운 본 문제에 옮겨 붙이는 거다. 정답으로 곧장 가는 길이 막혔을 때 비스듬히 난 샛길을 찾아내는 이 요령들을 그는 한데 모아 '발견술', 곧 휴리스틱이라 불렀다. 정답을 보장하지는 않지만 정답 쪽으로 너를 데려다주는 손잡이들의 모음이다.

여기서 이야기가 한 단계 깊어진다. 포여가 '문제를 잘 푸는 요령'으로 다룬 이 어림을, 한 사람이 '인간이라는 존재가 본래 그렇게 생겨 먹었다'는 데까지 끌고 올라갔다. 허버트 사이먼이다. 당시 경제학의 교과서적 인간은 완벽한 계산기였다. 모든 선택지와 그 결과를 빠짐없이 알고, 가장 이득이 큰 하나를 골라낸다는 가정. 사이먼은 그 가정이 거짓이라 봤다. 현실의 인간은 정보도 모자라고, 머릿속 계산력에도 한계가 있고, 시간마저 늘 쫓긴다. 그래서 인간은 '최선'을 고르지 않는다. 그럴 수가 없다. 대신 '이 정도면 충분하다'는 기준선을 넘는 첫 번째 답에서 탐색을 멈춘다. 그는 이걸 '만족하다'와 '충분하다'를 붙여 '만족화'라 이름 붙였고, 인간 이성의 이런 한계를 '제한된 합리성'이라 불렀다. 그의 일격은 가치 판단을 뒤집은 데 있다. 어림으로 적당히 끊는 건 완벽한 합리성의 못난 짝퉁이 아니라, 자원이 유한한 세계에서 도리어 가장 합리적인 행동이라는 것이다. 무한히 따질 시간이 없는 자에게는, 빨리 '충분히 좋은' 답에 닿는 능력이야말로 진짜 지능이다. 이 통찰로 그는 1978년 노벨 경제학상을 받았다.

그런데 이 도구에는 칼날의 양면이 있다는 게 곧 드러났다. 같은 어림이 우리를 빠르게 구해 주기도 하지만, 엉뚱한 곳에서는 우리를 조용히 속이기도 한다. 한 예를 끝까지 따라가 보자. 누가 너에게 묻는다. 영어 문장에서 알파벳 K가, 단어의 첫 글자로 오는 경우와 세 번째 글자로 오는 경우 중 어느 쪽이 더 많을 것 같냐고. 대부분 첫 글자라고 답한다. 왜냐면 king, key, kind처럼 K로 시작하는 단어가 머릿속에서 훨씬 쉽게, 빨리 떠오르기 때문이다. 그런데 실제로는 K가 세 번째에 오는 단어가 더 많다. ask, like, bake, cake처럼. 다만 그런 단어들은 'K가 세 번째'라는 단서로는 머릿속에서 잘 검색이 안 될 뿐이다. 여기서 너의 머리가 쓴 어림규칙은 '쉽게 떠오르는 건 흔한 것이다'였다. 평소에는 꽤 쓸 만한 지름길이다. 하지만 이 문제에서는 '떠오르는 쉬움'과 '실제 빈도'가 어긋나 있어서, 그 지름길이 너를 틀린 답으로 데려간 거다. 빠른 손잡이가 늘 옳은 문으로 통하지는 않는다는 것 — 휴리스틱을 쓰는 자가 반드시 함께 쥐고 있어야 할 경계가 이것이다.

이 어림의 사고가 기계에까지 내려가 앉은 과정은 더 극적이다. 사이먼은 동료 앨런 뉴얼과 함께, 1956년에 사람처럼 논리 정리를 증명하는 최초의 인공지능 프로그램을 만들었다. 그들이 부딪힌 벽은 이거였다. 가능한 수를 한 수씩 따라가 보면 경우의 수가 폭발적으로 불어나, 끝까지 다 뒤지는 건 우주의 시간으로도 불가능하다. 체스 한 판의 갈림길만 해도 별의 수보다 많다. 그래서 그들은 가망 없어 보이는 가지를 미리 쳐내는 '주먹구구 규칙'을 프로그램에 심었고, 그 규칙들을 가리켜 그대로 휴리스틱이라 불렀다. 모든 길을 다 가 보는 대신, 그럴듯한 길만 골라 들어가는 것이다. 이 발상은 1968년, 스탠퍼드 연구소에서 스스로 길을 찾아 움직이는 로봇을 만들던 이들의 손에서 또렷한 알고리즘이 됐다. 목표까지 얼마나 남았는지를 어림으로 점수 매기는 함수를 두어, 그 점수가 좋은 방향으로만 탐색을 몰아가는 길찾기 방법이다. 오늘 네 휴대폰의 내비게이션이 수백만 갈래 길 중에서 눈 깜짝할 새 최적 경로 비슷한 걸 뽑아내는 그 밑바닥에, 바로 이 어림 점수가 깔려 있다.

여기서 네가 정말 눈여겨봐야 할 대목이 있다. 기계가 이걸 해내려면, 단순히 계산을 빨리하는 것만으로는 어림도 없었다. '지능이란 무엇인가'라는 생각의 가장 윗단추부터 다시 끼워야 했다. 지능을 '모든 경우를 따져 흠 없는 최적해를 찾는 능력'으로 붙들고 있는 한, 경우의 수가 폭발하는 진짜 문제 앞에서 기계는 영원히 멈춰 서 버린다. 지능을 '한계 안에서 그럴듯한 길을 골라 충분히 좋은 답에 빨리 닿는 능력'으로 다시 정의하는 관점의 전환 — 사이먼이 인간에게서 발견한 바로 그 만족화의 원리를 기계의 설계 원칙으로 올려놓고 나서야, 비로소 기계가 생각하는 흉내를 낼 수 있었다. 완벽을 포기한 자리에서 비로소 지능이 시작된다는 역설이, 사람의 머릿속을 넘어 컴퓨터의 심장에까지 새겨진 것이다.

그러니 너가 선택지가 너무 많아 머리가 굳어 버리는 순간을 만나거든 — 완벽한 자료가 모일 때까지, 모든 안을 다 비교할 때까지 결정을 미루고 싶어지거든 — 사이먼처럼 되물어라. 지금 내게 정답을 다 따질 시간과 정보가 있기는 한가. 없다면, '이만하면 충분하다'의 기준선을 먼저 긋고, 그 선을 넘는 첫 답을 집어 들어 움직여라. 다만 그 지름길이 어느 모퉁이에서 너를 속일 수 있는지 한 손으로는 늘 의심하면서. 완벽한 답을 기다리다 굶어 죽지 말고, 충분히 좋은 답으로 일단 한 끼를 먹는 것 — 그게 유한한 세계를 사는 자의 가장 영리한 발견술이다.