통제변인 사고 (controlled comparison)

너, 화분 둘을 창가에 나란히 놓고 한쪽에만 음악을 들려줬다고 해보자. 한 달 뒤 음악 들은 쪽이 더 잘 자랐다. 너는 무릎을 친다. 식물도 음악을 좋아하는구나. 그런데 잠깐. 그 화분, 혹시 스피커 옆이라 더 따뜻하지 않았나. 네가 음악 틀어 주려고 들여다본 김에 물도 한 번 더 주지 않았나. 햇빛은 둘이 똑같이 들었나. 음악 하나만 달랐다고 믿었는데, 실은 온도도 물도 손길도 다 같이 달라져 버렸다면, 너는 음악의 효과를 본 게 아니라 그 뒤섞인 덩어리를 본 거다. 무엇이 진짜 범인인지 영영 알 수 없게 된 거지. 오늘 이야기는, 바로 이 뒤섞임을 어떻게 갈라내느냐를 두고 인류가 수백 년에 걸쳐 익힌 한 가지 손기술에 관한 거다.

때는 1747년, 영국 해군 군함 솔즈베리호. 배에는 괴혈병이라는 무서운 병이 돌고 있었다. 잇몸이 썩고 살이 문드러지고 끝내 죽어 나가는 이 병은 긴 항해마다 선원을 절반씩 집어삼켰다. 원인도 약도 아무도 몰랐다. 그 배의 군의관 제임스 린드는 다른 의사들과 똑같이 답답했지만, 한 가지 다른 짓을 했다. 그는 괴혈병에 걸린 선원 열두 명을 골라 둘씩 여섯 짝으로 나눴다. 그리고 결정적인 대목 — 열두 명 모두를 같은 갑판, 같은 칸에 재우고 똑같은 기본 식사를 먹였다. 잠자리도 같고 밥도 같고 병의 정도도 비슷하게 맞췄다. 딱 한 가지만 짝마다 다르게 줬다. 한 짝엔 사과주를, 한 짝엔 묽은 황산을, 한 짝엔 식초를, 한 짝엔 바닷물을, 한 짝엔 향신료 반죽을, 그리고 마지막 한 짝엔 오렌지 둘과 레몬 하나를 매일 먹였다.

엿새 뒤 결과는 거짓말처럼 한쪽으로 쏠렸다. 감귤을 먹은 두 사람만 눈에 띄게 회복해, 그중 하나는 곧 다른 환자들을 간호할 만큼 일어섰다. 나머지는 그대로였다. 여기서 네가 봐야 할 건 감귤이 약이라는 사실 자체가 아니다. 린드가 그걸 어떻게 알 수 있었느냐다. 만약 그가 감귤 먹은 사람들을 따뜻한 선실에 따로 재우고 좋은 밥을 먹였다면, 그들이 나아도 그게 감귤 덕인지 따뜻함 덕인지 밥 덕인지 갈라낼 수 없었을 거다. 모든 걸 똑같이 묶어 두고 오직 먹인 것 하나만 다르게 했기에, 비로소 결과의 차이를 그 하나의 탓으로 못 박을 수 있었다. 한 변수만 풀어 두고 나머지를 전부 잠가 버리는 이 발상이 바로 통제변인 사고이고, 린드의 그 배 위 실험은 오늘날까지도 인류 최초의 제대로 된 비교 임상시험으로 꼽힌다.

물론 이 발상의 씨앗은 린드보다 한 세기쯤 앞서 뿌려졌다. 17세기 초의 프랜시스 베이컨은 자연을 캐물을 때 어떤 성질이 '있을 때'의 사례들과 '없을 때'의 사례들을 표로 나란히 늘어놓고 견주라고 했다. 열이 있는 것과 없는 것을 맞대 봐야 열의 정체가 드러난다는 식이지. 한쪽엔 있고 한쪽엔 없게 만들어 둘을 맞댄다는 그 골격이 통제 비교의 먼 조상이다. 다만 베이컨이 머릿속 표로 남긴 것을, 린드는 살아 있는 사람 열둘을 데리고 갑판 위에서 실제로 돌려 본 셈이다.

그런데 린드의 손기술에는 빈틈이 하나 있었다. 그가 짝을 어떻게 나눴는지를 보면, 하필 튼튼한 사람을 감귤 짝에 몰아넣었을 수도 있는 것 아닌가. 사람을 갈라 묶는 순간 거기에 보이지 않는 치우침이 숨어들 틈이 생긴다. 이 마지막 빈틈을 메워 통제 비교를 완성한 사람이 20세기 영국의 통계학자 로널드 피셔다. 1920년대에 그는 런던 북쪽 로담스테드라는 농업시험장에서 비료와 작물 품종을 시험하고 있었다. 어느 밭은 본래 땅이 비옥하고 어느 밭은 척박하니, 좋은 밭에 새 비료를 주면 비료가 좋아서 잘 자란 건지 땅이 좋아서 그런 건지 또 뒤섞인다. 피셔의 한 수는 기막혔다. 어느 밭에 무엇을 줄지를 사람이 고르지 말고 제비뽑기로, 즉 무작위로 정하라는 것이었다. 무작위로 흩뿌리면 비옥한 땅도 척박한 땅도 양쪽 처리에 골고루 섞여 들어, 미처 생각지 못한 교란 요인까지 저절로 상쇄된다. 통제할 변수를 일일이 손으로 다 잡을 수 없다면, 무작위라는 그물로 통째로 평평하게 만들어 버리는 발상이다. 피셔가 1935년 책으로 묶어 낸 이 무작위 비교 설계는 그 뒤 농학을 넘어 의학으로 건너가, 새 약이 진짜 듣는지를 가리는 세상 모든 임상시험의 표준 뼈대가 됐다. 네가 먹는 약 하나하나가 이 관문을 통과한 것들이다.

이 오래된 손기술이 요즘 가장 분주하게 돌아가는 곳은 뜻밖에도 컴퓨터 화면 속이다. 너를 포함한 수억 명이 매일 쓰는 웹사이트와 앱은 끊임없이 이 비교를 돌린다. 버튼 색을 파랑에서 초록으로 바꾸면 사람들이 더 많이 누를까. 그걸 알아내려고 회사들은 접속한 사람을 무작위로 둘로 갈라, 한 무리에겐 파란 버튼을, 다른 무리에겐 초록 버튼을 보여 준다 — 나머지 화면은 토씨 하나 안 바꾼 채로. 이른바 에이비 테스트라 부르는 이것의 속살은 린드의 감귤과 피셔의 제비뽑기를 그대로 옮겨 온 것이다. 한 가지만 다르게, 나머지는 똑같이, 그리고 누가 어느 쪽을 볼지는 무작위로. 다른 게 있다면 린드는 열두 명으로 엿새가 걸렸지만, 기계는 수백만 명을 단 몇 시간 만에 양쪽으로 갈라 결과를 잰다는 것뿐이다. 여기서 생각의 윗단추 하나가 조용히 바뀌었다. 예전엔 전문가가 '이 디자인이 더 낫다'고 안목으로 판정했다면, 이제는 누구의 안목도 믿지 않고 무작위로 가른 두 집단의 숫자에게 판정을 맡긴다. 의견 대신 통제된 비교에 결정권을 넘긴 것, 그 태도의 전환이 오늘날 데이터로 굴러가는 의사결정의 바탕이 됐다.

그러니 너가 무언가를 바꿔 놓고 '이게 효과가 있었다'고 말하고 싶어지는 순간이 오거든, 린드의 갑판을 떠올려라. 정말 그 하나만 바뀌었는지 먼저 따져라. 그 결과를 만든 게 네가 바꾼 그것 하나뿐인지, 아니면 너도 모르게 같이 따라 움직인 다른 무엇인지. 무언가의 효과를 알고 싶다면 그것 하나만 풀어 두고 나머지는 모조리 똑같이 잠가라. 비교할 짝꿍 하나를 같은 조건에 나란히 세워 두지 않은 주장은, 효과를 본 게 아니라 뒤섞임을 본 것이다.