도박사의 오류, 독립 사건의 착각

들어가며

주변에서 한 번쯤은 들어봤을 이야기다. 동전을 다섯 번 연속 던졌더니 앞면만 나왔다. 여섯 번째에 친구가 이제 뒷면 나올 차례라고 의기양양하게 거는 장면. 룰렛 테이블에서 검정이 연속으로 나오면 빨강을 거는 사람들. 이제 변할 차례라는 믿음, 우리는 거의 본능적으로 그런 결론에 닿는다.

문제는 이 직관이 사실은 통계적으로 틀린다는 점이다. 동전이 기억을 하든 안 하든, 다섯 번 앞면이 나왔든 백 번이 나왔든, 다음 한 번의 확률은 항상 똑같다. 다섯 번 앞면이 나왔다는 사실은 다음번 확률을 조금도 바꾸지 않는다.

이 포스트에서는 이런 착각이 어디서 오는지, 왜 그렇게 강하게 우리를 붙잡는지, 그리고 이 편향이 일상과 디자인 결정 어디까지 영향을 미치는지 정리한다.

도박사의 오류란?

도박사의 오류는 서로 독립적인 사건들의 결과가 다음 사건의 확률을 바꾼다고 잘못 믿는 것이다. 줄여서 말하면, 독립 사건의 확률은 매 시행마다 변하지 않는다는 사실을 무시하는 오류다.

1913년 8월 18일, 모나코 몬테카를로 카지노의 한 룰렛 테이블에서 검정이 26번 연속으로 나왔다. 각 시행이 독립이라는 걸 모르는 사람들은 한 번 검정이 나올 때마다 빨강이 올 차례라고 생각하며 빨강에 베팅했고, 검정이 이어질수록 더 큰돈을 걸었다. 그날 밤 카지노는 거대한 돈을 가져갔다. 도박사의 오류라는 이름 자체가 이 사건에서 유래한다.

우리가 주목할 것은 그날의 결과가 아니다. 26번째 빨강이 나올 확률은 25번째와 똑같이 약 48.6%였다. 그 직전 25번이 무슨 일이 있었든 26번째는 독립이다. 기억을 하는 것은 사람이지, 사건이 아니다. 이 사건이 우리에게 남긴 교훈은 단순하다. 이전 결과는 다음 결과를 바꾸지 않는다.

왜 우리는 이런 오류를 범하는가

이 착각이 유독 잘 붙는 이유는 우리 머리가 무작위성을 잘 다루지 못해서다. 카너먼과 트버스키가 1974년 정리한 연구에 따르면, 사람은 무작위 결과를 판단할 때 대표성 휴리스틱이라는 지름길을 쓴다. 지금까지 나온 패턴이 전체 분포를 대표해야 한다는 직관이다. 동전 5번 앞면이 나오면 앞면이 너무 많으니 다음엔 뒷면이라는 추론이 자동으로 작동한다. 이 지름길은 일상 판단에서 빠르고 효율적이지만, 무작위 사건 앞에서는 우리를 속인다.

함께 작동하는 인지적 편향이 작은 수의 법칙이다. 큰 표본에서만 작동하는 대수의 법칙을 작은 표본에도 그대로 적용하는 것이다. 10번 던졌을 때 앞면이 5번 나올 것이라 기대하지만, 실제로는 4번이나 7번이 나올 수 있다. 우리는 그 정도의 흔들림조차 이상한 일로 받아들이고, 다음 시행에서 그것을 바로잡으려 든다.

흥미로운 건 같은 뿌리에서 출발한 반대 방향의 오류가 있다는 점이다. 도박사의 오류는 앞면이 5번 연속 나왔으니 다음은 뒷면이라 예측한다. 반면 핫핸드 오류는 연속 성공이면 다음도 성공이라 예측한다. 1985년 길로비치, 발로네, 트버스키가 NBA 필라델피아 76ers의 1980-81 시즌을 분석한 연구에 따르면, 연속 성공이 다음 성공의 확률을 높이지 않았다. 농구 선수도 연속으로 넣었다고 다음 슛이 더 잘 들어가지 않았다. 두 오류는 같은 뿌리, 즉 작은 표본 안에서 패턴을 찾으려는 인간의 욕구에서 자랐지만, 예측 방향은 정반대다. 우리 머리가 패턴을 보는 방식이 한쪽으로만 기울지 않는다는 점은 기억해두면 도움이 된다.

일상 속 도박사의 오류

도박사의 오류는 도박 테이블에만 있는 게 아니다. 일상에서도 같은 직관이 작동한다.

로또는 좋은 예다. 당첨 번호가 공개되면 그 다음 회차에서는 사람들이 그 번호를 피한다. 이미 나왔으니 다시 나올 확률은 낮다는 생각이다. 그런데 매 회차의 추첨은 서로 완전히 독립이고, 한 번 나온 번호가 다음에 나올 확률은 그대로다. 사람들은 이걸 알면서도 막상 번호를 고를 때 직관을 거스를 수 없다.

주식 시장에서도 같은 패턴이 보인다. 5일 연속 하락한 주식을 보고 내일은 오를 차례라며 매수하거나, 반대로 급등 주식을 보고 지금은 과열, 곧 내려올 차례라며 비는 식이다. 기초 데이터를 무시하고 흐름만으로 다음을 예측한다. 평균 회귀는 실제 통계적 현상도 있지만, 그것이 모든 상황에서 단기적으로 작동한다고 믿는 것은 다른 문제다.

가장 끈질긴 사례는 아마 일상일 것이다. 두 아이가 딸이면 셋째는 아들이라 기대하고, 친구 셋이 모두 겨울에 결혼했으면 내년 결혼은 봄에라 예상한다. 18세기 라플라스가 이미 가족의 자녀 성별 분포에서 이런 직관을 관찰해 기록으로 남겼다. 직관은 어디서든 같은 모양으로 돌아온다.

디자이너에게 더 가까이 와닿는 사례도 있다. A/B 테스트를 돌리다가 두세 날 연속 B가 진다고 B는 실패라고 판단하고 원래대로 되돌리는 경우다. 작은 트래픽에서 며칠은 사실상 노이즈 구간이고, 그 구간을 판단 시점으로 잡으면 도박사의 오류를 그대로 실행하고 있는 셈이다. 사용자 리서치도 마찬가지다. 다섯 명의 usability 테스트에서 같은 버튼을 못 찾았다고 이 버튼은 분명 문제가 있다고 결론을 내리면, 그것은 표본이 작은 데서 패턴을 짐작한 결과일 가능성이 높다.

관련 편향과 어떻게 다른가

도박사의 오류는 혼자 등장하는 일이 드물다. 다른 인지 편향과 자주 함께 불려 나온다. 하지만 각각은 분명 다른 가리키는 곳이 있다.

확증 편향은 우리가 이미 믿은 가설을 확인하는 정보만 골라 보는 경향이다. 빨강이 올 차례라고 믿으면 그 뒤의 빨강을 잘 기억하고 검정은 잊는다. 도박사의 오류가 다음에 무엇이 일어날지를 예측하는 오류라면, 확증 편향은 기존 믿음을 유지하도록 정보를 선택하는 오류다. 둘은 함께 작동하지만 출발점이 다르다.

클러스터링 환각은 무작위 데이터에서도 패턴을 본다고 느끼는 인지 현상이다. 도박사의 오류와 달리 예측을 만들지 않는다. 주사위를 열 번 던졌더니 같은 숫자가 세 번 나왔네, 이상하다는 반응이다. 패턴을 지각하는 단계의 오류이고, 도박사의 오류는 그 지각을 가지고 예측하는 단계의 오류다.

핫핸드 오류는 직전 섹션에서 본 것처럼 같은 뿌리에서 자란 반대 방향 오류다. 연속 성공이 다음 성공을 부른다고 믿는 것이다. 도박사의 오류가 반전을 예측한다면, 핫핸드는 지속을 예측한다. 같은 지름길에서 출발해서 다른 결론에 도달한다는 점만 구분해 두면 된다.

성급한 일반화는 적은 데이터로 큰 결론을 내리는 오류다. 사용자 다섯 명을 보고 우리 사용자 전체는 이렇다고 단정하는 것이 이쪽에 가깝다. 도박사의 오류는 독립 사건의 확률을 다룬다는 점에서 이 일반화들보다 좁다. 일반화는 어떤 사실에 대한 추론의 오류이고, 도박사의 오류는 무작위 사건의 확률에 대한 오해다.

어떻게 견디는가

이 편향을 완전히 없애는 건 현실적이지 않다. 패턴을 찾는 인간의 지름길은 어떤 환경에서도 작동한다. 다만 그 지름길이 잘못된 결론으로 가는 순간을 인지적 안전 장치로 막을 수 있다.

첫 번째는 독립성을 명시적으로 묻는 것이다. 다음 사건이 이전 사건과 정말로 독립인가, 아니면 실제로 자기상관이 있는가. 룰렛·동전·주사위는 독립이지만, 날씨·심리 상태·시스템 상태는 그렇지 않을 수 있다. 독립이 아닌 경우엔 직관이 옳을 수도 있다. 문제는 우리가 독립인 상황에서도 비독립적 직관을 적용한다는 데 있다.

두 번째는 베이스레이트에 닻을 내리는 것이다. 동전은 50/50, 룰렛의 빨강은 매번 48.6%, A/B 테스트의 전환율은 사전 분포에서 시작한다. 짧은 관찰 결과보다 그 베이스레이트를 먼저 떠올리면, 패턴에 흔들리기 전에 기본값으로 돌아올 수 있다.

세 번째는 큰 표본을 기다리는 것이다. 작은 표본 안에서 보이는 패턴은 대부분 노이즈다. 그래서 통계는 표본 크기를 미리 정하고 그만큼 모은 다음에야 결론을 내린다. A/B 테스트에서도 사전 등록된 표본 크기까지 도달하기 전에는 트래픽이 적다고 판단해 멈추는 것이 맞고, 도중에 지금까지의 결과만 보고 결정을 바꾸는 것이 도박사의 오류의 실행이다.

디자이너에게 이건 sample-size blindness라고 부를 수 있는 문제다. 우리가 다루는 데이터는 대부분 작다. 사용자 다섯 명, 클릭 수백 회, 로그 열두 줄. 그 작은 표본 안에서 패턴을 읽으려는 본능이 우리를 도박 테이블로 끌어들인다. 그 본능을 막을 단일 도구는 없다. 다만 지금 내 데이터가 이 결론을 뒷받침할 만큼 충분히 큰가라는 질문을 매 결정 앞에 놓는 것, 그리고 답이 아니다일 때 결정을 미루는 것은 누구나 할 수 있는 일이다.

마무리

도박사의 오류는 도박꾼의 이야기가 아니다. 패턴을 찾아야 직성이 풀리는 인간 인지 구조의 산물이다. 동전이든 A/B 테스트 결과든 사용자 리서치 응답이든, 우리는 짧은 관찰 안에서 패턴을 읽고 그다음에 일어날 일을 예측하고 싶어 한다. 그 욕구 자체는 자연스러운 것이고, 다만 무작위 사건 앞에서만큼은 그 직관을 잠시 멈추는 훈련이 필요하다.

독립 사건은 매번 새롭고, 이전 결과는 다음 결과에 닻을 내리지 않는다. 이 한 줄이 이 글의 전부라고 해도 과언은 아니다.