07. 문제해결·발견술

추상화 (abstraction)

여러 대상에서 지엽적인 차이를 덜어 내고 공통된 본질 구조만 남겨, 그 구조를 따로 떼어 다루는 사고법. 라틴어 abstrahere(끌어내다, 떼어 내다)에서 왔으며, 구체적인 사례를 일일이 붙들지 않고 그것들을 관통하는 형식 자체를 대상으로 삼는다는 점이 핵심이다. 더 모호해지려는 게 아니라, 한 단계 위에서 더 정확해지려는 움직임이다.

너, 사과 세 개가 놓인 접시와 돌멩이 세 개가 든 주머니와 책 세 권이 꽂힌 칸을 차례로 본다고 해보자. 사과는 빨갛고 돌은 차갑고 책은 무겁다. 셋은 닮은 데가 하나도 없다. 그런데 너는 어느 순간, 이것들에서 빨강도 차가움도 무게도 다 덜어 내고 딱 하나만 집어 든다. '셋.' 그 '셋'은 세상 어디에도 만질 수 있게 놓여 있지 않다. 사과에도 돌에도 책에도 없다. 오직 네 머릿속에만 있다. 너는 방금 눈앞의 울긋불긋한 것들을 다 버리고, 그것들을 관통하는 뼈 하나만 발라낸 거다. 누가 시키지도 않았는데. 오늘 이야기는, 이 '지엽을 버리고 뼈만 남기기'를 끝까지 밀어붙여 이천 년 묵은 수수께끼를 푼 한 소년에 관한 거다. 그리고 그가 남긴 답은, 너무 앞서간 탓에 '도무지 알아먹을 수 없음'이라는 딱지가 붙어 되돌려졌다.

이 버릇 자체는 아주 오래됐다. 멀리 아리스토텔레스가 이미 '아파이레시스', 곧 떼어 냄이라는 말로 이걸 가리켰다. 밀랍 덩어리에서 색과 냄새와 물렁함을 머릿속으로 하나씩 걷어 내다 보면 마지막에 '뻗어 있음', 즉 공간을 차지한다는 성질만 남는다 — 그 남은 뼈를 다루는 게 기하학이라고 봤다. 라틴어로 옮기면서 abstrahere, '끌어내다'라는 말이 붙었다. 그러니 추상화는 누가 어느 날 발명한 도구가 아니라, 인간이 수를 세기 시작한 그 순간부터 이미 쓰고 있던 손버릇에 한참 뒤에 이름이 붙은 것에 가깝다. 문제는, 이 손버릇을 어디까지 과감하게 밀어붙일 수 있느냐였다.

여기서 그 소년이 등장한다. 19세기 초 프랑스의 에바리스트 갈루아. 그가 붙든 물음은 당대 수학자들을 이천 년 동안 괴롭힌 것이었다. 이차방정식은 근의 공식이 있다. 너도 학교에서 외웠을 그 공식 말이다. 삼차도 사차도, 좀 흉하긴 해도 공식이 있다. 그런데 오차방정식, 그러니까 미지수가 다섯 제곱까지 올라가는 일반식에는 — 아무리 찾아도 그런 공식이 안 나왔다. 수백 년간 내로라하는 사람들이 달려들었지만 허탕이었다. 그런데 갈루아는 질문을 통째로 갈아 끼웠다. 그는 '공식을 어떻게 찾지'를 버리고, 한 계단 위로 올라가 이렇게 물었다. 방정식의 해들끼리 자리를 맞바꿔도 식이 그대로 성립하는, 그 '뒤섞임의 짜임새'는 어떻게 생겼는가. 그는 방정식 자체도, 거기 든 숫자도 다 내던지고, 오직 해들이 이루는 대칭의 구조만 따로 떼어 손에 쥐었다. 그러고는 그 구조가 어떤 모양일 때만 근의 공식이 존재하는지를 증명해 버렸다. 오차방정식의 구조는 그 조건을 만족하지 못한다. 그러니 공식은 없다 — 못 찾은 게 아니라, 있을 수가 없다. 사람들이 이천 년간 찾아 헤맨 보물은 애초에 묻혀 있지 않았던 것이다. 이 떼어 낸 구조에 훗날 '군(群)'이라는 이름이 붙었고, 거기서 현대 대수학의 한 갈래가 통째로 자라났다.

그런데 이야기가 여기서 비극으로 꺾인다. 갈루아가 이 발상을 적어 학회에 보냈을 때, 세상은 알아보지 못했다. 한 원로는 원고를 받아 두고 어디 뒀는지 잃어버렸다. 1831년 1월, 갈루아는 푸아송이라는 대가의 요청에 따라 자기 생애 가장 중요한 논문을 다시 써서 제출했다. 그해 7월, 푸아송은 보고서에 이렇게 적었다. 일부는 다른 사람 글에 이미 있고, 나머지는 이해할 수 없다고. 알아먹을 수 없으니 더 분명히 써 오라는 거였다. 갈루아는 다시 쓰지 않았다. 너무 앞서간 생각은, 시대의 가장 똑똑한 사람들 눈에도 그저 헛소리처럼 보였던 거다. 그리고 이듬해 1832년 봄, 그는 결투에 휘말려 스무 살에 죽는다. 죽기 전날 밤, 자기 생각이 묻혀 버릴 걸 직감한 그는 친구에게 보내는 편지에 정신없이 수식을 갈겨 쓰며 여백마다 '시간이 없다'고 적었다. 그가 떼어 낸 그 구조가 옳았다고 학회가 공식으로 인정한 건 1843년, 리우빌이라는 수학자가 유고를 발굴해 낭독하고 나서였다. 소년이 죽고 십 년도 더 지나서. 출판은 1846년에야 됐다. 가장 강력한 추상화가, 너무 일러서 '이해 불가'라는 도장을 받고 십 년을 관 속에 누워 있었던 셈이다.

이 떼어 내기를 갈루아 이후 가장 멀리까지 밀고 간 사람은 20세기 초 독일의 에미 뇌터였다. 그는 구체적인 숫자 예시에서 아예 출발하지 않는 걸로 유명했다. 동료들이 '예를 하나 들어 달라'고 하면, 그는 예가 아니라 개념 자체에서 시작해 버렸다. 정수든 다항식이든 대칭이든, 겉모습이 다른 것들을 관통하는 공통 뼈대만 골라내, 그 뼈대가 따르는 규칙 몇 줄로 수학의 큰 영역을 다시 세웠다. 사람들이 오늘날 '추상대수학'이라 부르는 분야가 그렇게 모양을 갖췄다. 갈루아가 방정식 하나에서 구조를 발라냈다면, 뇌터는 그 발라내기 자체를 학문의 출발점으로 삼은 것이다.

이 오래된 손버릇이 가장 치열하게, 가장 대규모로 쓰이는 곳은 뜻밖에도 컴퓨터다. 네가 스마트폰에서 사진 한 장을 손가락으로 넘길 때, 그 밑에서는 전압의 오르내림과 수십억 개의 스위치가 켜졌다 꺼진다. 하지만 너는 그걸 전혀 몰라도 된다. 너에게 보이는 건 '사진'과 '넘기기'라는 깔끔한 개념뿐이다. 그 사이에는 켜켜이 쌓인 '추상의 층'이 있다. 맨 아래 기계의 비트가 그 위 단계에는 '숫자'로, 그 위에는 '글자'와 '그림'으로, 또 그 위에는 '버튼'과 '화면'으로 — 아래의 지저분한 사정을 한 겹씩 가려 주며 올라온다. 각 층은 아래가 어떻게 돌아가는지 묻지 않고, 위에는 깔끔한 약속 한 줄만 내민다. 이게 추상화가 하는 일이다. 지엽을 가리고 다룰 만한 뼈대만 남기는 것. 여기서 네가 정말 눈여겨봐야 할 대목이 있다. 컴퓨터를 이만큼 부리려면, 사람의 생각 틀이 윗단추부터 갈려야 했다는 거다. 초창기엔 사람이 기계의 비트를 직접 만지며 기계의 언어로 생각했다. 그걸로는 조금만 복잡해져도 손을 댈 수가 없었다. 그래서 사람들은 기계를 직접 들여다보기를 그만두고, 자기가 새로 발명한 '한 단계 위의 의미'들 위에서 생각하기로 했다. 컴퓨터 과학의 거장 한 사람은 이걸 두고, 추상화의 목적은 모호해지려는 게 아니라 절대적으로 정확해질 수 있는 새로운 의미의 층을 만드는 것이라고 못 박았다. 그러니까 추상은 흐릿함이 아니라, 더 높은 자리에서의 더 단단한 정확함이다. 기계의 사정을 잊는 그 망각의 능력 위에서야 비로소 오늘의 거대한 소프트웨어가 섰다. 갈루아가 방정식을 잊고 구조만 쥔 바로 그 동작이, 형태만 바꿔 네 손바닥 안에서 매 순간 돌아가고 있는 거다.

그러니 너가 어떤 문제 앞에서 자잘한 사정들에 파묻혀 길을 잃거든 — 이 고객은 이래서 떠나고 저 고객은 저래서 떠나고, 이 건은 이 사정 저 건은 저 사정… 끝없이 갈래만 늘어나거든 — 한 계단 위로 올라가 이렇게 물어라. 이 다른 사정들을 다 덜어 내고 나면, 그것들을 관통하는 뼈대 하나는 무엇인가. 빨강과 차가움과 무게를 다 버리고 '셋'만 집어 들었듯이, 지엽을 과감히 떼어 내고 본질의 구조만 손에 쥐어라. 단, 잊지 마라. 떼어 낸 그 뼈가 정말 모든 사례를 맞히는지 늘 되짚어야 한다. 잘못 발라낸 뼈는 길을 더 헤매게 만드니까. 옳게 떼어 내면, 이천 년 묻혀 있던 답도 그 자리에서 모습을 드러낸다. 그게 한 스무 살 소년이 시간이 없다고 갈겨 쓰며 남긴, 생각의 가장 날카로운 칼이다.