극단 사례 검증 (extreme cases)

너, 친구가 자신만만하게 이런 말을 한다고 해보자. 세금을 깎으면 깎을수록 나라가 거두는 돈은 늘어난다고. 사람들이 일할 맛이 나서 더 벌고, 그러니 세수도 커진다는 거지. 그럴듯하게 들린다. 너는 반박할 말이 얼른 안 떠올라 고개를 끄덕일 뻔한다. 그런데 잠깐, 머릿속으로 다이얼 하나를 돌려 보자. 세율을 100퍼센트로 올려 보는 거다. 번 돈을 몽땅 가져간다면 누가 일하겠어. 아무도 안 한다. 그러니 세수는 0이다. 이번엔 반대로 세율을 0퍼센트로 내려 봐. 세금을 한 푼도 안 매기니, 사람들이 아무리 일해도 나라 곳간은 역시 0이다. 양 끝이 다 0이라면, 세율을 깎을수록 무조건 세수가 는다는 말은 거짓이다. 어딘가에 봉우리가 있고, 그 너머로는 오히려 줄어든다. 친구의 단순한 주장은 방금 무너졌다. 네가 한 일이라곤 다이얼을 양 끝까지 돌려 본 것뿐이다.

이게 극단 사례 검증이다. 주장을 가만히 두고 따지지 말고, 그 안의 변수를 한계까지, 경계값까지 일부러 밀어붙여서 결과가 그래도 말이 되는지 보는 거다. 평범한 중간에서는 다들 멀쩡해 보인다. 거짓말은 끝에서 들통난다.

이 버릇이 어디서 왔냐면, 한 분야가 따로 발명했다기보다 수학자들이 오래 쓰던 손버릇이 이름을 얻은 쪽에 가깝다. 고대 그리스에서 이미 그 골격이 보인다. 아르키메데스는 원의 넓이를 구하려고, 원 안에 다각형을 그려 변을 자꾸 늘리고 밖에도 다각형을 둘러 변을 늘렸다. 변이 셋이면 엉성하지만, 변을 무한히 늘리는 극단으로 밀면 안쪽 도형과 바깥 도형이 원에 짝 들러붙는다. 그렇게 위아래로 조여 원주율을 가뒀다. 끝으로 밀어 진실을 몰아넣는 발상이 거기 이미 살아 있었다.

이게 본격적으로 사고의 무기가 된 건 19세기다. 그 무렵 수학자들은 자기네가 당연하다 믿던 정리들이 실은 허술하다는 걸 깨닫고 충격에 빠진다. 카를 바이어슈트라스라는 독일 사람이 결정타를 날렸다. 당시 모두가 믿었다. 끊김 없이 이어진 곡선이라면, 적어도 어딘가에는 매끈한 접선을 그을 수 있을 거라고. 바이어슈트라스는 1872년, 어디를 봐도 뾰족뾰족 꺾여서 접선이라곤 단 한 점도 그을 수 없는 연속 곡선을 내놓았다. 모두의 직관을 박살 낸 이런 물건을, 수학자들은 괴물이라 불렀다. 이때부터 수학에서는 새 주장이 나오면 먼저 극단과 경계로 끌고 가 괴물을 찾는 일이 정식 절차가 됐다. 끝에서 견디지 못하면 그 주장은 죽는다.

이걸 가장 통쾌하게 휘두른 사람을 꼽으라면 20세기 물리학자 리처드 파인먼이다. 동료가 칠판 가득 복잡한 증명을 적어 내려가면, 파인먼은 다 듣지도 않고 머릿속에 사례 하나를 세워 두고 따라갔다 한다. 변수를 0으로, 또는 무한대로 살짝 밀어 보는 거다. 어느 순간 상대의 결론이 그 극단에서 말이 안 되면, 그는 "틀렸다"고 잘라 말했다. 줄 단위로 식을 검사한 게 아니라, 끝으로 밀어 무너지는지만 본 거다. 1986년 우주왕복선 챌린저가 폭발한 뒤 사고조사에 들어갔을 때도 그는 같은 정신으로 움직였다. 엔지니어들은 사고 원인을 둘러싸고 추상적인 확률 논쟁을 벌였지만, 파인먼은 문제의 고무 오링을 얼음물에 담그는 극단 조건 하나로 끌고 갔다. 차가워진 고무는 탄성을 잃고 굳었다. 청문회 자리에서 그가 얼음물에서 꺼낸 고무 조각을 들어 보인 그 장면이, 말잔치를 한 방에 정리했다.

이 사고법은 머릿속에서만 사는 게 아니라 컴퓨터 안으로도 들어갔다. 프로그램을 시험할 때 가장 먼저 두드리는 게 바로 끝값이다. 목록이 비었을 때, 숫자가 0이나 음수일 때, 글자가 한 자도 없거나 감당 못 할 만큼 길 때. 멀쩡한 평범한 입력은 대개 잘 돌아간다. 사고는 늘 경계에서 터진다. 그래서 좋은 개발자는 한복판이 아니라 끝부터 친다.

그러니 네가 누군가의 그럴듯한 주장 앞에서 반박할 말이 막히거든, 정면으로 부딪치지 마라. 그 말 속의 숫자나 조건을 손에 쥐고 다이얼을 끝까지 돌려라. 전부일 때, 전무일 때, 0일 때, 무한일 때. 가운데서 우아하던 주장이 끝에서 헛소리가 된다면, 너는 한마디 길게 따지지 않고도 그게 틀렸음을 안다.