집단지성 (wisdom of crowds)

너, 시골 가축 품평회 마당에 서 있다고 해 보자. 한가운데 살진 황소 한 마리가 묶여 있고, 그 옆에 푯말이 붙어 있다. '도축해서 손질하고 나면 이 소의 고기는 몇 파운드가 될까요? 가장 가깝게 맞힌 사람에게 상을.' 6펜스를 내면 표 한 장을 받아 네 어림수를 적어 낸다. 마당에는 푸줏간 주인도 있고, 평생 소를 키운 농부도 있지만, 소가 뭔지도 잘 모르고 그저 재미로 끼어든 점원이며 구경꾼도 한가득이다. 다들 제멋대로 숫자를 적어 통에 넣는다. 누구는 터무니없이 높게, 누구는 어이없이 낮게. 이 엉터리 같은 숫자 더미에서 무슨 쓸 만한 답이 나오겠나 싶다. 그런데 오늘 이야기는, 바로 저 잡다한 통 속에서 놀라운 일이 벌어진다는 거다.

이 마당을 실제로 헤집고 다닌 사람이 있었다. 1906년, 영국 플리머스의 가축 품평회. 당시 여든을 훌쩍 넘긴 프랜시스 골턴이라는 학자였다. 그는 사람의 능력은 타고나며 대중이란 어리석은 무리라고 평생 믿어 온, 솔직히 말하면 군중을 깔보는 쪽의 사람이었다. 그가 이 황소 알아맞히기에 흥미를 느낀 건, 군중이 얼마나 멍청한지를 숫자로 증명하고 싶어서였다. 품평회가 끝난 뒤 그는 표 통을 통째로 빌려 와 표 한 장 한 장을 살폈다. 알아볼 수 없게 적힌 것 열세 장을 빼니 787장이 남았다. 그는 이 787개의 어림수를 작은 것부터 큰 것까지 죽 늘어세웠다. 그리고 정확히 한가운데 있는 값, 그러니까 절반은 그보다 높게 적었고 절반은 그보다 낮게 적은 그 가운뎃값을 집어 들었다. 1207파운드였다. 그런 다음 실제로 소를 잡아 손질한 무게를 쟀다. 1198파운드. 군중의 가운뎃값은 참값에서 겨우 9파운드, 1퍼센트도 안 빗나가 있었다. 그 마당의 어느 푸줏간 전문가도 혼자서는 그만큼 못 맞혔다. 자기 가설을 깨러 갔던 골턴은, 도리어 정반대의 증거를 손에 쥐고 돌아왔다. 그는 이 결과를 1907년 과학지 네이처에 짤막하게 실으며 마지못해 인정했다. 민주적 판단을 믿는 쪽이 생각보다 든든하다고.

여기서 너가 붙잡아야 할 속살은 이거다. 왜 그 잡탕이 맞아떨어졌나. 답은 오차가 서로를 잡아먹기 때문이다. 누군가는 소를 너무 크게 봤고 누군가는 너무 작게 봤다. 한쪽으로 부푼 착각과 반대쪽으로 쪼그라든 착각이 한데 모이면 서로 상쇄되어 지워진다. 그렇게 제멋대로인 잡음이 다 깎여 나가고 나면, 모두의 어림 속에 공통으로 깔려 있던 어렴풋한 진실의 신호만 살아남는다. 개인 한 사람은 자기 편향이라는 안경을 못 벗지만, 수백 명의 안경을 겹쳐 평균을 내면 안경알의 굴절이 서로 맞물려 평평해지는 것이다.

이 발상의 씨앗은 골턴보다 훨씬 오래전부터 떠돌았다. 멀리 아리스토텔레스가 정치학에서, 여럿이 모이면 각자는 평범해도 합쳐진 판단은 소수 현자보다 나을 수 있다고 적은 게 대략 그 시초로 거슬러 올라간다. 18세기에는 프랑스의 수학자 콩도르세가 이걸 차갑게 정리했다. 한 사람이 옳을 확률이 반보다 조금만 높아도, 그런 사람을 여럿 모아 다수결을 시키면 집단이 옳을 확률은 인원이 늘수록 1에 가깝게 치솟는다는 정리다. 골턴의 황소 마당은 이 오래된 직관에 처음으로 실물 증거를 박은 사건이었던 셈이다. 그리고 이 흩어져 있던 이야기들을 하나로 묶어 '집단의 지혜'라는 이름으로 세상에 널리 퍼뜨린 사람은 한참 뒤, 2004년 미국의 저널리스트 제임스 서로위키다. 그가 같은 제목의 책에서 골턴의 황소부터 풀어내며 못을 박았다. 단, 아무 군중이나 똑똑한 게 아니다. 네 가지 조건이 맞아야 한다고. 사람들의 의견이 제각각 다양할 것, 각자가 남 눈치 안 보고 독립적으로 판단할 것, 자기 지역과 경험에 뿌리박은 진짜 정보를 가질 것, 그리고 그 흩어진 판단을 모아 하나로 합치는 장치가 있을 것.

이 마지막 조건, '모으는 장치'가 디지털 세상으로 넘어오면서 집단지성은 완전히 다른 몸집을 얻었다. 손으로 표를 세던 골턴의 통이, 이제는 수백만 명의 클릭을 실시간으로 집계하는 기계가 됐다. 사람들이 자기 돈을 걸어 미래를 베팅하는 예측 시장이 선거 결과나 신제품 성패를 여론조사보다 정확히 맞히는 일, 위키백과가 흩어진 수만 명의 손길로 한 권의 백과사전을 빚어내는 일이 그 후손이다. 더 깊은 자리에서는 기계학습이 이 원리를 통째로 빨아들였다. 약하고 어설픈 예측 모델 수백 개를 만들어 그 답을 평균 내면, 어느 한 모델보다 강한 예측기가 튀어나온다. 사람들은 이걸 앙상블이라 부르는데, 발상의 뼈대는 골턴의 황소와 똑같다. 제각기 다른 방향으로 틀리는 약한 추정들을 모으면 오차가 상쇄되고 진실만 남는다. 다만 기계가 이걸 제대로 쓰려면 생각의 윗단추 하나를 새로 끼워야 했다. 더 정교한 단 하나의 천재 모델을 빚는 데 매달리던 사고에서, 일부러 어설프고 서로 다르게 틀리는 여럿을 길러 합치는 게 낫다는 발상으로 갈아탄 것이다. 한 명의 거장보다 어긋난 군중이 낫다는 골턴의 역설이, 알고리즘 설계의 상위 원리로 올라앉았다.

여기엔 골턴의 마당이 그토록 잘 작동한 진짜 비결, 그리고 가장 쉽게 무너지는 급소가 함께 들어 있다. 표를 적는 사람들이 서로의 답을 못 봤다는 것. 옆 사람이 1300이라 적는 걸 보고 나도 1300쯤 적었다면, 그 둘은 두 개의 독립된 추정이 아니라 한 사람의 추정을 두 번 센 것에 불과하다. 그렇게 서로 베끼고 휩쓸리기 시작하면 다양성도 독립성도 증발하고, 군중은 한 방향으로 우르르 쏠리는 떼가 된다. 그 순간 오차는 상쇄되기는커녕 같은 방향으로 증폭되어 거대한 착각이 된다. 집단지성과 집단광기는 종이 한 장 차이이고, 그 한 장을 가르는 게 바로 독립성이다.

그러니 너가 어떤 판단을 여러 사람에게 물어 더 나은 답을 얻으려거든, 한자리에 둘러앉혀 토론부터 시키지 마라. 목소리 큰 한 사람, 직급 높은 한 사람이 입을 떼는 순간 나머지의 독립성은 그쪽으로 빨려 들어간다. 각자 따로, 남의 답을 보기 전에 자기 숫자를 먼저 적어 내게 하라. 그 흩어진 답들을 모아 가운데를 취하라. 사람을 많이 모으는 것보다, 그 사람들이 서로 베끼지 않게 떼어 놓는 것이 먼저다.