귀류법 (reductio ad absurdum)

너, 어떤 주장을 반박하고 싶은데 정면으로는 도무지 깰 수가 없는 상황을 떠올려 봐라. 이럴 때 영리한 사람이 쓰는 수가 하나 있다. 상대의 말을 반박하는 대신, 일부러 그 말이 옳다고 받아들여 주는 거다. "좋아요, 당신 말이 맞다고 칩시다." 그러고는 그 전제를 손에 쥔 채 끝까지 따라가 본다. 한 걸음, 두 걸음, 논리만으로 밀고 가다 보면 어느 순간 도착하는 곳이 있다. 누가 봐도 말이 안 되는 자리, 1이 2와 같다거나 짝수이면서 홀수인 수가 나오는 자리. 거기 다다르면 너는 조용히 돌아서서 말한다. "보세요, 당신 말을 따라왔더니 이런 헛소리에 닿았습니다. 그러니 처음 그 말이 틀렸던 겁니다." 칼을 직접 휘두르지 않고, 상대를 자기 칼 위로 걸어 들어오게 만드는 수법이다. 오늘 이야기는 인류가 가진 가장 오래되고 가장 잔인하도록 우아한 이 논증 한 자루에 관한 거다.

이 무기가 처음으로 무시무시한 위력을 보인 사건은 기원전 그리스, 피타고라스 학파 안에서 벌어졌다. 그들은 거의 종교 같은 믿음을 하나 품고 있었다. 세상 만물은 정수와 정수의 비율로 깔끔하게 떨어진다는 믿음, 우주는 결국 수의 화음이라는 신앙이었다. 그런데 그들 손에 든 가장 단순한 도형, 한 변이 1인 정사각형이 배신을 때린다. 그 대각선의 길이, 즉 제곱하면 2가 되는 수가 문제였다. 자, 너도 그들을 따라가 보자. 만약 이 수가 그들 믿음대로 어떤 분수로 떨어진다고 치자. 더 줄일 수 없을 만큼 약분을 끝낸 분수, 분자와 분모가 더는 함께 나뉘지 않는 꼴이라 하자. 양변을 제곱하면 분자의 제곱이 분모 제곱의 두 배가 된다. 그러면 분자의 제곱은 짝수고, 따라서 분자 자신도 짝수다. 그런데 분자가 짝수면 그 제곱은 4의 배수, 그걸 둘로 나눈 분모의 제곱도 결국 짝수가 되어 분모마저 짝수다. 분자도 짝수, 분모도 짝수 — 둘 다 2로 또 나뉜다. 더 줄일 수 없다고 했던 그 분수가 사실은 더 줄어든다. 출발에서 손에 꼭 쥐고 있던 전제가 제 손안에서 박살 난 거다. 그러니 처음 가정이 틀렸다. 그 수는 어떤 분수로도 떨어지지 않는다. 정수의 비율로 환원되지 않는 수, 오늘 우리가 무리수라 부르는 것이 그 순간 논리만으로 세상에 모습을 드러냈다. 전해지기로는, 이 불경한 진실을 발설한 학파의 누군가가 그 대가로 바다에 빠져 죽었다고 한다. 자기들 신앙을 자기들 논리로 처형한, 생각의 역사에서 가장 서늘한 장면이다.

이 우회의 칼에 이름과 격을 정식으로 붙인 사람은 아리스토텔레스였다. 그는 이것을 '불가능으로 데려가는 논증'이라 불렀고, 그 바탕에 깔린 더 근본적인 법칙 하나를 못 박았다. 같은 것이 같은 뜻에서 동시에 있으면서 없을 수는 없다는 것, 모순은 존재할 수 없다는 원리다. 귀류법은 바로 이 원리를 칼날로 벼린 것이다. 모순에 닿으면 거기까지 끌고 온 전제 중 하나가 반드시 거짓이라는 것 — 이 단순한 사실이 칼의 전부다. 말하자면 누가 발명한 도구라기보다, 사람들이 옛날부터 다투며 써 오던 이 우회의 수법에 그가 이름과 논리적 자격증을 발급해 준 셈이다.

이 무기를 가장 사랑하고 가장 잘 휘두른 사람으로는 단연 유클리드가 꼽힌다. 그의 가장 유명한 한 방을 보자. 소수, 그러니까 1과 자기 자신으로만 나뉘는 수가 무한히 많다는 증명이다. 따라가 보자. 소수가 유한개뿐이라고 치자. 그럼 그것들을 죄다 모아 한 줄로 늘어놓을 수 있겠지. 이제 그 소수들을 전부 곱한 다음, 거기에 딱 1을 더한 수를 만든다. 이 새 수를 너의 목록에 있는 어느 소수로 나눠 봐라. 반드시 1이 남는다 — 목록의 소수들은 곱에서 깔끔히 나뉘지만, 마지막에 더한 1이 끝까지 거슬리며 떨어지지 않으니까. 그렇다면 이 수는 목록에 없는 새 소수이거나, 목록에 없는 어떤 소수로 나뉘는 수다. 어느 쪽이든 목록 바깥에 소수가 또 있다는 뜻. 모든 소수를 다 모았다던 처음 가정이 그 자리에서 무너진다. 그러니 소수는 끝없이 많다. 무한이라는, 사람이 결코 다 헤아려 손에 쥘 수 없는 것을, 유클리드는 종이 위 몇 줄의 가정과 모순만으로 붙잡아 증명했다. 정면으로는 영원히 닿을 수 없는 진실에 뒷문으로 들어간 거다.

세월이 흘러도 이 칼의 격은 떨어지지 않았다. 20세기 영국의 수학자 G. H. 하디는 자신의 짧은 책에서 이 논증에 바치는 헌사를 남겼는데, 수학을 모르는 사람도 무릎을 치게 하는 비유다. 그는 이렇게 적었다. 유클리드가 그토록 사랑한 귀류법은 수학자의 가장 빼어난 무기 중 하나다. 그것은 그 어떤 체스의 갬빗보다 훨씬 더 멋진 수다. 체스 선수는 기껏해야 졸 하나, 말 하나를 미끼로 내주지만, 수학자는 판 전체를 내준다. 무슨 말이냐. 귀류법을 쓰는 순간 너는 적에게 "당신이 옳다"며 게임 전체를 통째로 넘겨준다. 그러고는 바로 그 항복한 자리에서, 적이 차지한 판 자체가 성립할 수 없음을 증명해 단번에 뒤엎는다. 가장 크게 양보하는 척하면서 가장 크게 이기는 수. 하디는 그 역설적 아름다움을 정확히 봤다.

그리고 이 고대의 우회로는 끝내 기계 속으로 들어갔다. 오늘날 컴퓨터에게 어떤 명제가 참임을 증명시키는 자동 정리 증명이라는 분야가 있는데, 그 핵심 엔진이 바로 귀류법이다. 기계는 "이것을 증명하라"는 주문을 받으면 곧장 정면으로 파고들지 않는다. 대신 증명할 명제의 부정을 슬쩍 전제 더미에 끼워 넣고, 거기서부터 기계적으로 결론들을 줄줄이 뽑아낸다. 그러다 텅 빈 모순, 더는 아무것도 성립할 수 없는 막다른 식에 도달하면 멈춘다. 모순이 나왔으니 끼워 넣은 부정이 거짓이고, 따라서 원래 명제가 참이다 — 사람이 √2에서 했던 그 동작을 기계가 초당 수백만 번씩 되풀이하는 것이다. 그런데 여기서 네가 눈여겨볼 대목이 있다. 기계가 이걸 해내려면, '증명한다'는 행위에 대한 생각의 윗단추부터 갈아 끼워야 했다. 사람은 증명을 '참인 이유를 이해하는 일'로 여기지만, 기계에게 그 깨달음을 기대할 수는 없다. 그래서 증명을 '기호를 규칙대로 밀어붙여 모순이라는 텅 빈 신호에 닿는 작업'으로 통째로 다시 정의해야 했다. 이해를 포기하고 반박만 남긴 것 — 그 윗단추를 새로 끼우고 나서야 비로소 기계가 사람 대신 논리를 증명하게 됐다. 가장 직관 같던 우아함이, 가장 무미건조한 기호 조작으로 환생한 셈이다.

그러니 너가 어떤 주장을 도무지 정면으로 깰 수 없어 막막한 순간을 만나거든, 칼을 거꾸로 쥐어라. 그 주장이 옳다고 일단 받아 주고, 그 전제를 손에서 놓지 말고 끝까지 끌고 가 봐라. 가다가 말도 안 되는 자리에 닿는다면, 그건 네 추론이 틀린 게 아니라 출발에서 받아 준 그 전제가 애초에 거짓이었다는 증거다. 정면이 막혔다고 멈추지 마라. 적의 가정 속으로 걸어 들어가, 그 안에서 적을 무너뜨려라.