동료평가 (peer review)

너, 머릿속에 그럴듯한 생각 하나가 떠올랐다고 해보자. 며칠을 굴리니 점점 확신이 든다. 이건 맞다, 이건 새롭다. 그런데 한 가지 불편한 사실이 있다. 너는 네 생각이 틀렸다는 걸 가장 보기 싫어하는 사람이고, 동시에 그걸 가장 먼저 알아챌 수 있었던 유일한 사람이다. 자기 글의 오타를 자기가 못 잡는 그 답답함, 그게 머리 전체에서 일어난다고 생각해 봐라. 그래서 사람들은 오래전에 이상한 약속 하나를 만들었다. 세상에 내놓기 전에, 나를 칭찬할 이유가 전혀 없는 같은 분야 사람한테 먼저 보여주고 난도질당하자는 약속이다.

이 풍습의 씨앗이 처음 또렷하게 보이는 건 1665년 런던이다. 그해 영국 왕립학회가 지금까지 끊기지 않고 이어지는 가장 오래된 과학 학술지인 철학회보를 창간하는데, 초대 간사 헨리 올든버그가 묘한 일을 시작한다. 유럽 곳곳의 학자들이 보내온 편지와 보고를 자기 혼자 판단하지 않고, 그 주제를 잘 아는 회원들에게 돌려 의견을 묻고 실어도 될지를 따진 것이다. 그러니까 이건 누가 발명한 빛나는 아이디어라기보다, 편지가 너무 많이 쏟아지는 상황에서 무엇을 믿고 실을지 거르려다 생겨난 살림의 지혜에 가깝다. 옛날 이슬람 의학에서도 의사의 처방을 다른 의사가 검토해 기록으로 남기게 했다는 흔적이 있으니, 남의 눈을 빌려 거른다는 발상 자체는 더 멀리 거슬러 올라간다.

재미있는 건, 이게 오늘날처럼 당연한 절차가 된 게 의외로 최근이라는 점이다. 20세기 중반까지도 많은 학술지는 편집장 한 사람의 안목으로 게재를 결정했다. 아인슈타인이 1936년 미국 학술지 피지컬 리뷰에 중력파에 관한 논문을 보냈다가, 편집장이 익명의 외부 전문가에게 검토를 돌리자 격분해 원고를 빼버린 일화가 남아 있을 정도다. 그에게는 자기 글을 모르는 제삼자가 이름도 밝히지 않고 평가한다는 발상 자체가 모욕이었다. 그런데 정작 그 익명의 검토자는 아인슈타인의 계산에 결정적 오류가 있다고 지적한 게 맞았고, 나중에 같은 사람이 얼굴을 맞대고 차분히 설명하자 아인슈타인은 결론을 조용히 뒤집어 고쳐 냈다. 같은 비판이라도 이름 없는 문지기의 칼끝으로 오면 모욕이 되고, 믿을 만한 동료의 입으로 오면 약이 된다는 걸 이 일화가 통째로 보여준다. 동료평가가 거의 모든 분야의 의무 관문으로 굳은 건 전후 과학이 폭발적으로 불어나고, 정부 연구비를 누구에게 줄지 공정하게 가려야 할 필요가 커진 뒤다. 검증을 가장 매섭게 제도로 키운 곳은 학술지보다 오히려 의학과 공중보건 쪽인데, 사람 목숨이 걸린 약과 치료법을 거르는 일이라 검토자의 칼이 무뎌지면 사람이 죽기 때문이다.

핵심은 이 절차가 진실을 보증하는 기계가 아니라는 데 있다. 검토자도 사람이라 질투하고, 경쟁자의 논문을 일부러 깔아뭉개기도 하고, 새롭고 낯선 주장을 그저 불편하다는 이유로 막기도 한다. 정작 인류를 바꾼 발견 중 상당수가 처음엔 거절당했다. 그럼에도 이 불완전한 관문이 살아남은 이유는, 더 나은 대안이 없어서다. 한 사람의 확신보다 여러 전문가의 교차 검증이 평균적으로 덜 틀린다는, 딱 그만큼의 겸손한 사실 위에 서 있는 제도다.

이제 이게 디지털을 만나며 윗단추까지 바뀐다. 종이 학술지 시절엔 검토가 우편으로 몇 달씩 오갔다. 인터넷이 깔리자 1991년 물리학자 폴 긴스파그가 아카이브라는 사이트를 열어, 검토를 통과하기 전 원고를 먼저 전 세계에 공개하고 동료들이 곧장 들여다보게 만들었다. 권위 있는 소수가 닫힌 방에서 거르던 일을, 누구나 보고 반박하는 열린 광장으로 끌어낸 것이다. 코로나가 번지던 2020년, 검토를 마치기도 전의 예비 논문이 매일 쏟아지며 연구 속도를 끌어올린 동시에 설익은 주장도 함께 퍼진 일은, 이 빠르고 열린 검증이 가진 힘과 위험을 한꺼번에 보여줬다.

그러니 너가 어떤 결론에 혼자 확신이 차오르거든, 그걸 세상에 던지기 전에 한 가지를 먼저 하라. 너를 띄워줄 이유가 없는, 그 분야를 너만큼 아는 사람에게 일부러 보여주고 가장 아픈 곳을 찔러달라고 청하라. 통과하면 그제야 비로소 네 것이 아니라 검증된 것이 된다.