고슴도치형이 될 것인가, 아니면 여우형이 될 것인가? 전문가들의 예측 실패에서 배워야 할 교훈

내기가 시작되었다. 인류의 운명에 관한 내기였다. 한쪽에는 스탠퍼드 대학의 생물학자 폴 R. 에를리히(Paul R. Ehrlich)가 있었다. 에를리히는 1968년 출간된 베스트셀러 “The Population Bomb”에서 인구 과잉으로 인한 파멸의 마지막 날을 막기에는 너무 늦었다고 주장했다. 자원 부족으로 10년 안에 수억 명이 굶어 죽을 것이라고 했다.

인구는 기하급수적으로 증가하고 있지만, 식량 공급은 그렇지 않다는 단순한 계산이 그 이유였다. 에를리히는 뛰어난 나비 전문가였다. 그는 자연이 동물의 개체 수를 섬세하게 조절하지 않는다는 것을 알고 있었다. 인구가 폭발하면서, 가용한 자원을 다 써버리면, 인류가 멸망하는 일만 남았다는 것이다.

에를리히는 책에서 가상의 시나리오를 통해, 인류에게 "닥칠 재난의 종류"를 보여주었다. 최악의 경우, 기근이 전 세계를 휩쓸 것이라고 했다. 러시아, 중국 그리고 미국은 핵 전쟁에 돌입하고, 그에 따른 환경파괴는 곧 인류를 소멸시킬 것이라고 했다. 보다 "양호한" 경우에서는 인구 조절이 시작될 것이라고 했다.

기근이 퍼지고, 나라들은 불안정해지겠지만, 죽음의 물결은 1980년대 중반에 끝날 것이라고 했다. 5억 명 정도가 굶어 죽을 것이라고 했다. 에를리히는 "다른 희망적인 시나리오가 있다면 써 보라"면서, 나 같으면 자비로운 외계인이 구호 물품을 들고 찾아오는 시나리오는 생각하지 않을 것이라고 덧붙였다.

경제학자 줄리안 사이먼(Julian Simon)가 에를리히의 도전을 받아들였다. 수자원 통제 기술, 잡종 씨앗, 관리 전략 등과 같은 기술 발전이 농업을 혁신하고, 전 세계적으로 농작물 수확량이 증가시킬 것이라고 주장했다. 사이먼은 인구가 많을수록, 지속 가능한 미래를 이뤄나갈 방법에 대한 더 좋고 더 많은 아이디어가 나온다고 생각했다. 그렇게 그는 내기를 제안했다.

에를리히는 향후 10년간 자원이 고갈되고 혼돈이 뒤따를 때, 가격이 더 비싸질 것이라고 예상되는 금속 5종을 선택했다. 두 사람 모두 상품 가격이 인구 증가의 영향을 보여주는 훌륭한 척도라는 데 동의했고, 에를리히가 고른 금속 5종의 가격 기준을 1,000달러로 정했다. 만일 10년 후, 이들 금속 가격이 기준 보다 하락하면, 차액을 에를리히가 사이먼에게 지급하고, 반대로 오르면 차액을 사이먼이 에를리히에게 지급하기로 약속했다. 이 내기는 1980년 공식적으로 합의되었다.

1990년 10월, 사이먼은 우편을 통해 576.07달러가 적힌 수표를 받았다. 에를리히는 담배만 피워댔다. 모든 금속의 가격이 떨어졌다. 1960년대에는 매년 전 세계 인구 10만 명 중 50명이 기근으로 사망했고, 1990년대가 되자 그 수는 2.6명으로 줄었다.

에를리히가 예측한 기근은 나타나지 않았다. 그럼에도 그는 내기에 진 바로 그해 또 다른 책을 통해 더 심각한 예측을 내놓았다. 물론 자기 예측은 틀렸고, 자기 시간표는 궤도에서 벗어났지만, “이미 인구 폭탄은 터졌다.”라고 썼다. 에를리히의 예측은 두 번 연속 빗나갔다. 하지만, 엄청난 추종자를 불러들였고, 권위 있는 상까지 받았다.

한편, 사이먼은 에를리히가 경제 원리를 무시했다고 생각하는 학자들의 지도자로 떠올랐다. 사이먼의 진영에서는 에를리히가 적극 옹호했던 일종의 과잉 규제가 오히려 인류를 재앙으로부터 구해줄 혁신을 잠재우게 될 것이라고 주장했다. 두 사람 모두 각자의 진영에서 큰 명성을 얻었다. 하지만 둘 모두 틀렸다.

이후 경제학자들이 세계 인구가 4배로 증가했던 1900년부터 2008년까지 10년 단위로 금속 가격을 조사했더니, 이 기간 동안 62%에서 에를리히가 내기에서 이겼을 것이라는 결과가 나왔다. 상품 가격이 인구 증가의 영향을 제대로 반영하지 못한다는 것이 요점이었고, 특히 10년의 기간으로는 더 그렇다는 것이었다. 두 사람이 모두 자신의 주장을 증명해 줄 것이라고 확신했던 변수가 실제로는 거의 관련이 없었던 것이다. 상품 가격은 거시경제 사이클에 따라 상승과 하락을 거듭한다.

하지만 두 사람 모두 여기서 그치지 않았다. 서로 자신의 믿음을 과학을 통해, 또 모두가 인정하는 사실에 근거해 주장을 굽히지 않았다. 그러면서 각자 상대방의 생각이 지닌 가치를 무시했다. 인류가 종말을 맞을 것이라는 에를리히의 주장은 틀렸지만, 환경 파괴는 옳았다. 사이먼이 말한 인류의 독창성이 식품 및 에너지 공급을 발전시킬 것이란 사이먼의 말은 옳았지만, 대기와 수질의 개선이 자기 이론을 증명해 준다는 주장은 틀렸다. 아이러니하게도, 그러한 개선은 에를리히 진영에서 적극 옹호한 규제 강화를 통해 이뤄졌다.

예일대 역사학자 폴 사빈(Paul Sabin)은 “The Bet”에서, 지적 경쟁자가 있으면, 저마다 자신의 주장을 계속 연마하기 때문에, 주장이 점점 더 날카로워지고 더 좋아진다고 밝혔다. 하지만 폴 에를리히와 줄리안 사이먼의 경우는 반대였다. 이들이 자기주장을 뒷받침하기 위해 더 많은 정보를 축적하면서, 점점 더 독단적이 되었고, 불완전했던 주장이 점점 더 극단으로 치달았다.

이 이런 패턴은 익숙해졌다. 에를리히가 사이먼에게 수표를 보낸 후 30년 동안, 과학, 경제, 정치 분야의 전문가들의 예측 성공 기록은 그 어느 때보다도 더 암울해졌다. 업계에서 존경받는(그리고 후한 보상을 받고 있는) 전문가들은 다음 주식시장 조정에서부터 다음 주택 붐에 이르기까지 모든 것에 대한 예측을 내놓지만 틀인 예측이 일상다반사다.

하지만 여기서 한 가지 통찰을 얻을 수 있다. 전문 지식이 있기 때문에 앞으로 일어날 일을 잘 알 수 있다고 확신하는 전문가들 사이에 서로 다른 점을 취합하는 식의 사고방식이 필요하다는 것이다.

1984년 미국-소련의 관계를 논의하기 위해 모인 미국 국립 연구 회의가 지금까지 전문가 예측에 대한 가장 중요한 연구의 단초가 되었다. 심리학자이자 정치학자였던 필립 E. 테틀록(Phlip E. Tetlock)은 당시 30세로 회원 중 가장 젊었다. 그는 다른 회원들이 벌이는 미국의 정책과 소련의 의도에 대한 토론을 열심히 경청했다. 저명한 전문가들이 권위 있는 예측을 내놓았고, 테틀록은 이들의 예측이 서로 완벽하게 모순되고, 반론도 불분명한 모습에 큰 충격을 받았다.

테틀록은 전문가들의 정치 및 경제 예측을 시험해보기로 결정했다. 냉전이 한창인 가운데, 그는 자기 분야에서 평균 12년 이상의 경력을 쌓은 고학력 전문가 284명의 예측을 집계했다. 예측을 구체화하기 위해 전문가들에게 향후 예측을 구체적인 확률로 말해달라고 요청했다. 테틀록은 기술이 있어서 예측이 맞은 것과 운이 좋아서 맞춘 것을 구분하기 위해 충분히 많은 예측을 집계했다. 이 연구는 20년 동안 진행되었고, 미래에 대한 82,361가지 예측이 포함되었다.

그 결과, 전문가들은 대체로 예측에는 젬병이었다. 전문 분야에서 다년간 경험을 쌓았고, (일부는) 기밀 정보에 접근할 수 있었지만, 아무런 차이가 없었다. 단기 예측에도 서툴렀을 뿐만 아니라 장기 예측에도 마찬가지였다. 모든 영역에 걸쳐 전문가들의 예측은 사실에서 벗어났다.

전문가들이 미래에 일어날 가능성이 없다거나, 거의 불가능하다고 단정한 사건들 중 15%가 실제로 일어났다. 그리고 확실하게 일어난다고 예측한 사건들 중 25% 이상이 실제로는 발생하지 않았다. 덴마크 속담에서 경고하듯이, "예측은 어렵다. 특히 미래에 대한 예측은 더 어렵다."

이 연구 결과를 본 전문가들 중 대부분이 자기 예측에 체계적인 결함이 있음을 인정하지 않았다. 예측이 심각하게 벗어난 것인데도, 거의 맞춘 것이나 다름없다고 말했고, 아주 약간 비슷한 경우에도 정확히 맞춘 것이라고 주장했다. 테틀록은 "전문가들이 자신의 예측이 정확했다는 주장과 실제 예측 정확도 사이에는 심각한 역 관계가 성립한다."라고 결론지었다.

테틀록의 연구 기간 초기에 나온 예측들 중에는 소련의 미래에 대한 예측이 있었다. 일부 전문가들(보통 진보주의자들)은 미하일 고르바초프를 소련을 변화시킬 진정한 개혁가이며, 변화된 소련을 잠시라도 유지시킬 수 있을 것으로 평가했고, 다른 전문가들(보통 보수주의자들)은 소련의 개혁은 불가능하고, 소련의 정통성은 이미 사라졌다고 주장했다.

양쪽 모두 일부는 옳고 일부는 틀렸다. 고르바초프는 소련을 세계에 개방하고, 시민들에게 권력을 이양하는 진정한 개혁을 이뤘다. 하지만 이러한 개혁은 소련이 정통성을 잃었던 러시아 밖 공화국들에서 그동안 억압되어있던 힘을 분출시켰다. 그 힘이 소련을 붕괴시켰다. 두 진영의 전문가들 모두 전문가 진영 모두 소련의 급속한 붕괴는 내다보지 못했다.

하지만 앞으로 나타날 일을 더 잘 내다본 학자들이 없었던 것은 아니었다. 에를리히와 사이먼과는 달리, 이들은 한 가지 시각에만 얽매이지 않았다. 그들은 자기의 주장을 줄이고, 전면적으로 배치되는 다른 이들의 주장을 통합했다. 그들은 고르바초프가 진정한 개혁가이며, 러시아 밖에서는 소련이 정통성을 잃었다는 데 동의했다. 또한 이들 중 일부는 소련의 종말이 임박했고, 진정한 개혁의 촉매제가 될 것이라고 보았다.

이런 통합된 생각을 가진 이들이 거의 모든 면에서 다른 동료들을 능가했고, 특히 장기적인 예측에 있어서는 거의 전적으로 앞질렀다. 테틀록은 이런 전문가들을 이사야 벌린의 말을 빌려 이렇게 표현했다. ‘고도로 전문화된 고슴도치형은 "큰 줄기 하나"를 알고 있고, 통합된 생각을 하는 여우형은 "자잘한 많은 가지"를 알고 있다.’

고슴도치형은 좁고 깊은 것에 집중한다. 이들 중에는 평생 한 가지 문제만 연구하면서 보낸 사람도 있다. 에를리히나 사이먼처럼, 그들은 자기 전문분야의 한 가지 렌즈를 통해 세상을 관찰하고, 거기에 근거해 세상을 판단하는 깔끔한 이론을 만들어 낸다. 한편, 여우형은 다방면에 걸쳐 관찰을 도출해 내고, 모호함과 모순을 받아들인다. 고슴도치형이 편협함을 의미한다면, 여우형은 폭넓음을 상징한다.

믿기 힘들겠지만, 고슴도치형은 자기 전문분야에 대한 장기적인 예측에서 특히 더 좋지 않은 성과를 보였다. 자기 분야에서 경험과 지식을 축적하면서 더 나빠진 것이다. 처리해야 할 정보가 더 많을수록, 어떤 이야기든 자기 생각에 더 쉽게 끼워 맞출 수 있다.

유감스럽게도, 세계에서 가장 유명한 전문가들이라고 해도 자기 예측에 책임지는 일이 거의 없기 때문에, 우리는 그들의 예측에 계속해서 의존하게 된다. 과거 예측 정확도를 보면 절대 그러지 말아야 하는데도 그렇다.

한 연구에서는 10년 동안 바클레이즈, 씨티그룹, JP 모건 체이스 등 22개 국제 은행들의 연간 USD/EUR 환율 예측치를 집계했다. 매년 모든 은행은 연말 환율을 예측한다. 은행들은 모든 환율 방향 예측에 실패했다. 10년 중 6년에서, 실질 환율은 22개 은행이 예측한 전체 범위에서 벗어났다.

테틀록은 2005년 연구 결과를 발표했고, 그들은 미국 정보기관들의 가장 어려운 문제에 대한 연구를 지원하는 정부 기관인 정보 고등 연구 기획국(Intelligence Advanced Research Projects Activity; IARPA)의 관심을 끌었다.

2011년 IARPA는 4개년 예측 토너먼트를 개최했고, 여기에서 5개 연구진이 경합을 펼쳤다. 연구진은 적합한 인물을 모집해 훈련시키고, 실험할 수 있었다. 매일 오전 9시 연구진별로 예측을 제출해야 했다. 예측 문제는 까다로웠다. 예를 들어, 유럽 연합 회원국이 목표일까지 철수할 것인가? 닛케이 평균 주가는 9500선 이상에서 마감될까? 등이었다.

테틀록은 아내이자 동료 심리학자인 바바라 멜러스와 함께, ‘Good Judgment Project’라는 팀을 운영했다. 훌륭한 전문가가 아닌 자원봉사자를 공개 모집했다. 간단한 심사 후에, 총 3,200명을 모집해, 예측을 시작했다. 그들 중에서, 관심사가 아주 광범위하고, 비정상적으로 포괄적인 독서 습관이 있지만, 특별한 관련 배경은 없는 소수의 여우형 참가자 있음을 확인했고, 그들의 예측을 다른 사람들보다 별도로 측정 부여했다. 그들의 예측이 압도적으로 정확했다.

테틀록과 멜러스는 이들 여우형 참가자들이 개별적으로도 예측이 가장 정확했을 뿐만 아니라, 다른 이들과 특별히 효과적으로 협력하는 특징이 있음을 발견했다. 그들은 정말로 모든 분야에 대해 관심이 높았다. 그들은 다양한 학문을 넘나들었고, 동료들을 설득하려 하기보다 배움의 원천으로 보았다. 이후 다시, 이 여우형 참가자들을 12명씩 소그룹으로 분류했더니, 예측이 훨씬 더 정확해졌다. 이들의 예측은 기밀 자료를 볼 수 있는 전문 정보 분석가 그룹보다 훨씬 뛰어났다.

한 실험에서 참가자를 모아 2014년 극도로 변동성이 큰 기간 동안 우크라이나의 흐리브냐와 미국 달러 간의 환율을 예측하도록 했다. 참가자들에게 1달러 대비 10흐리브냐 미만, 10 내지 13흐리브냐 또는 13흐리브냐 이상 중 하나를 고르라고 요청했다.

먼저 한 참가자가 세 가지 경우의 확률과 이코노미스트 기사를 동료들에게 알려줬다. 또 다른 참가자는 온라인에서 검색한 과거 데이터와 블룸버그 기사를 참고해 10 내지 13이 맞을 것이라고 주장했다. 세 번째 참가자는 두 번째의 주장이 확실하다고 맞장구쳤다. 네 번째는 우크라이나 경제의 끔찍한 상황을 이야기하면서, 우크라이나가 흐리브냐가 약세를 보일 것이라고 말했다. 다섯 번째 참가자는 유엔 안보리가 이 지역에 평화 유지군 파견을 고려하고 있다면서, 그러면 흐리브냐가 강세를 보일 것이라고 내다봤다.

이틀 후, 경제 지식이 있는 참가자가 흐리브냐가 약세를 보일 것이라고 확신했던 사건이 일어났는데도 강세를 보이는 모습을 발견했다. 그는 다른 참가자들에게 자신의 예상과 정반대의 일이 일어났고, 다른 참가자들에게 자신이 잘못 이해하고 있었다고 알렸다. (여우형은 ‘하지만’이란 단어를, 고슴도치형은 ‘게다가’라는 단어를 더 선호한다고 한다.) 참가자들은 최종적으로 "10 내지 13"을 선택했고, 그들의 예측은 맞았다.

테틀록이 20년 동안 수행한 연구에서, 폭넓은 여우형과 협소한 고슴도치형 모두 예측에 성공하면, 바로 자신감이 높아졌다. 하지만 예측에 실패했을 경우, 여우형이 자기 생각을 고칠 가능성이 훨씬 더 높았다. 고슴도치형은 거의 미동도 없었다.

일부는 권위적인 예측을 내놓고, 완전히 빗나간 것으로 드러나자, 다시 더 잘못된 방향으로 자기 예측을 수정하기도 했다. 그들은 그릇된 길로 이끌었던 기존의 생각을 더욱 확신하게 되었다. 반면, 가장 예측을 잘 한 사람들은 자기 생각을 시험이 필요한 하나의 가설로 본다. 그들은 내기에 지면, 지게 된 이유를 받아들이고, 반대로 내기에 이기면, 이긴 이유를 밀고 나갔다. 이것을 한 마디로 '배움'이라고 한다.

자료 출처: The Atlantic, "The Peculiar Blindness of Experts"