심슨의 역설, 평균은 거짓말을 한다

들어가며

분기 회의를 떠올려 보자. 화면 왼쪽에 막대가 하나 서 있다. “이번 분기 전환률 5.2%에서 5.9%로 올랐다. 신규 디자인 효과.” 누군가 묻는다. “근데 모바일은요?” 모바일 그래프는 4.8%에서 4.5%로 내려가 있다. 회의장은 잠시 멈춘다. 한 숫자는 올라가고 한 숫자는 내려갔다. 어느 쪽이 진짜인가.

이 질문이 디자인 보고서에서 가장 자주 등장하는 질문 중 하나다. 그리고 답을 잘못 내리기 쉬운 질문이기도 하다. 전체 평균만 보고 디자인이 효과를 냈다고 말하면, 디자인 결정에 가장 큰 영향을 받는 사용자 집단에서 일어난 변화를 놓친다. 반대로 모바일 숫자만 보고 디자인을 비판하면, 그보다 더 큰 집단에서 일어난 변화를 놓친다.

어느 쪽이 진짜인지는 전체 평균만 가지고는 답할 수 없다. 평균은 평균일 뿐이고, 그 안에 어떤 구성이 섞여 있는지는 따로 봐야 알 수 있다. 이 구성이 무시되면 평균은 사실과 정반대 결론을 만들기도 한다. 이 현상에는 이름이 있다. 심슨의 역설이다.

심슨의 역설이란

심슨의 역설은 데이터를 묶을 때와 나눌 때 결론이 정반대로 뒤집히는 현상이다. 말 그대로 역설이다. 같은 데이터인데 보는 단위에 따라 A가 더 좋다와 B가 더 좋다가 둘 다 성립한다.

이름은 1951년 에드워드 심슨이 통계학 논문에서 이 현상을 정리하면서 붙었다. 통계학에서는 그 이전부터 알려진 현상이었지만, 학과별로 보면 남녀 합격률 순서가 뒤집히는 1973년 UC 버클리 사건이 학계 밖에서도 유명해지면서 더 널리 알려지게 됐다. 그 사건이 정확히 디자인 보고서에서 우리가 매일 보는 패턴과 같다.

이 역설이 생기는 이유는 단순하다. 우리가 평균을 낼 때 흔히 무시하는 변수가, 평균을 좌우하는 무게 역할을 하기 때문이다. 모바일 사용자 비중이 달라지면 같은 디자인이라도 전체 평균이 움직인다. 학과 지원 비중이 달라지면 같은 합격률 데이터에서 성별 결론이 뒤집힌다. 디자인 보고서에서 디바이스, 사용자 코호트, 트래픽 시간, 플로우 단계가 UC 버클리 사건의 학과에 해당한다. 이런 변수를 묶어두면 평균은 자동으로 한쪽으로 기울어진다.

디자인 보고서에서 어떻게 나타나는가

이 역설은 통계학 교과서가 아니라 디자인 회의에서 마주친다. 세 가지 형태로 자주 만난다.

디바이스에 따라 결론이 달라지는 경우

가장 흔한 사례다. 데스크톱과 모바일을 묶은 전체 전환률이 디자인 A안이 B안보다 0.8%p 높다고 보고서에 적혀 있다. 그런데 디바이스별로 보면 사정이 완전히 다르다.

가중 평균에 사용된 디바이스 비중: A안은 데스크톱 80% / 모바일 20%, B안은 데스크톱 27% / 모바일 73%.

전체 평균은 A안이 좋아 보인다. 그런데 가중 평균을 디바이스별로 풀어 보면, 데스크톱에서는 A안이 0.5%p 더 좋고 모바일에서는 B안이 0.7%p 더 좋다. 모바일에서 B안의 우세가 더 크지만, A안 사용자 구성이 데스크톱 80%로 치우쳐 있어서 전체 가중 평균은 A안이 더 높게 나온다. 가중치만 다르게 잡혀도 전체 평균의 결론은 뒤집힌다.

전체가 A안이라고 적힌 배경은 단순하다. A안은 데스크톱에서 먼저 출시되었고, 출시 초기 사용자 구성이 데스크톱 쪽으로 기울어져 있었다. 같은 기간 모바일 트래픽 비중 자체도 50%에서 60%로 늘었지만, A안 사용자 안에서의 모바일 비중은 20%에 그쳤다. 이 두 효과의 합성으로 전체 평균이 A안 쪽으로 기울었고, A안이 모바일에서 B안보다 0.7%p 낮다는 사실이 그 안에 묻혔다.

이런 결론을 보고서에서 보면, 디자인 A안이 효과적이라고 적힌 한 줄의 근거가 흔들린다. 디자인 자체가 나빠서가 아니라, A안을 먼저 접한 사용자가 데스크톱에 집중되어 있었기 때문이다.

신규/기존 사용자 코호트에 따라 결론이 달라지는 경우

이번에는 사용자 종류로 나눈 사례다.

이번에는 전체 평균이 거의 같다. 그런데 코호트별로 보면 사정이 완전히 다르다. 신규 사용자에서 A안이 2.2%p 더 좋고, 기존 사용자에서는 B안이 1.2%p 더 좋다. 디자이너 입장에서 더 중요한 신호는 새 디자인이 신규 유입에 강한가, 기존 사용자 유지에 강한가일 수 있다. 그런데 전체 평균이 거의 같다는 사실만 보고서는 디자인이 효과 없다고 판단하면, 이 두 코호트가 디자인에 다르게 반응한다는 사실 자체를 놓친다.

신규 사용자 비중이 급격히 늘고 있는 서비스라면, 신규 코호트의 효과는 더 중요해진다. 비중이 증가할수록 A안의 영향력이 더 커지기 때문이다. 보고서에 전체 평균은 비슷하다라고 적는 순간, 빠르게 늘고 있는 집단에서의 디자인 효과를 잃는다.

시간대와 트래픽 구성에 따라 결론이 달라지는 경우

세 번째 사례는 시간의 영향이다. 평일에는 A안이 좋고, 주말에는 B안이 좋다.

전체 평균은 A안이 살짝 좋아 보인다. 그런데 평일 비중이 50% 아래로 떨어지면 (캠페인으로 주말 유입이 늘면) 전체 평균은 B안 쪽으로 기울어진다. 디자인 변경과 동시에 평일 트래픽이 늘었거나, 캠페인 집행으로 평일 유입이 늘었다면, 디자인 효과인지 캠페인 효과인지 묻기 전부터 전체 평균은 한쪽 답을 들고 있다.

이 패턴은 디자인 변경 자체가 의심되는 게 아니다. 디자인 외부의 다른 변화가 평균의 구성비를 바꾸고, 그 결과 디자인 효과가 한쪽으로 가중된 것이다. 그런데 보고서는 디자인 효과라는 한 줄로 묶어버린다.

이 세 사례의 공통점이 있다. 디자인 외부의 변화(디바이스 비중, 코호트 비중, 시간대 비중)가 디자인 변경과 같은 시점에 일어나면서 평균이 자동으로 한쪽으로 기울어졌다는 점이다. 디자이너가 디자인 변경을 결정한 보고서에 그 외부 변화가 자동으로 따라붙어 있고, 그걸 의식하지 않으면 평균은 결론처럼 보인다.

왜 우리는 이 역설에 걸리는가

이 함정이 잘 붙는 이유는 인간 인지의 작동 방식과 맞물려 있다. 보고서에 전체 평균이 올라갔다라고 적혀 있으면 회의실은 그 한 줄로 정리된다. 의사결정의 속도도 빨라진다. 분할해서 보는 건 분석 비용이 든다. 그래서 평균으로 끝내는 게 디자이너와 경영진 모두에게 자연스럽다.

더 본질적인 이유는 따로 있다. 뇌는 패턴을 한 덩어리로 처리하려 한다. 묶음 단위로 받은 정보가 더 신뢰감 있어 보인다. 전체 평균이 5.2%에서 5.9%로 올랐다라는 문장은 *데스크톱에서 5.6%, 모바일에서 4.5%*라는 두 줄보다 더 단단한 사실처럼 느껴진다. 숫자가 둘이면 해석이 필요하지만, 숫자가 하나면 해석이 끝난다. 그 단단함이 환상이다.

이 함정은 확증 편향과도 맞물린다. 밀고 있던 디자인이 효과를 냈다고 보고 싶을 때, 전체 평균은 그 가설을 확인해준다. 반대로 디자인이 잘 안 됐다고 느끼고 있을 때, 디바이스별 숫자는 자기 느낌을 확인해준다. 양쪽 모두 같은 함정에 걸리는데 결론만 뒤집는다. 이건 의지 부족이 아니다. 뇌가 평균을 사실처럼 받아들이는 구조의 산물이다.

도박사의 오류가 짧은 관찰에서 패턴을 지각하는 단계의 오류였다면, 심슨의 역설은 그 지각을 보고서에 옮길 때 발생하는 오류다. 둘 다 같은 뿌리 — 지금 보이는 숫자 하나로 결론을 내고 싶어하는 인간 인지에서 자랐다. 그래서 이 역설도 의식적으로 막기 어렵다. 도구로 막아야 한다.

분할해서 보면 끝인가

이 질문에 그렇다고 답하는 순간 다른 함정에 걸린다. 인과와 상관 글에서 다룬 함정이 여기서 다시 작동한다.

분할해서 보는 것, 즉 부분 그룹 분석으로 들어가는 것은 양날의 검이다. 어느 코호트에서 디자인이 더 효과 있는지 보여주지만, 동시에 인과 추정을 흔든다. 신규 사용자에서 효과가 좋았다고 적으면, 그건 디자인 효과인가, 신규 사용자가 본래 반응이 빠른 집단이라는 selection bias인가. 같은 데이터를 두고도 두 가지 해석이 가능하다.

A/B 테스트에서는 이 문제가 거의 해결된다. 무작위 배정이 두 그룹의 모든 변수(디바이스, 코호트, 시간대)를 균등하게 섞어주기 때문이다. 디자인 처치만 다른 상태에서 코호트별 효과를 비교해도, 그 차이가 디자인 때문일 가능성이 높다. 인과 글에서 다룬 A/B 테스트는 인과 가능, 관찰 데이터는 상관만 보인다라는 결론이 여기서도 그대로 작동한다.

반면 관찰 데이터 — 이미 출시한 디자인의 사후 분석, 새 디자인 출시 전후를 비교한 보고서 — 에서는 무작위 배정이 없다. 어떤 디자인을 본 사용자가 어떤 사용자였는지가 섞여 있다. 그래서 심슨의 역설이 가장 잘 작동하는 자리가 바로 관찰 데이터다. 디자인 보고서가 출시 후 효과라고 적는 순간, 거기엔 이미 역설이 기다리고 있다.

디자이너가 실무에서 지킬 수 있는 것

심슨의 역설은 해결책이 두 단계다. 분할해서 보는 단계, 그리고 그 분할이 인과인지 확인하는 단계.

첫째, 보고서에 항상 분할을 같이 적는다. *전체 전환률 5.2%*가 아니라 *전체 5.2%, 모바일 4.5%, 데스크톱 5.6%*로 적는 것만으로 거짓 결론을 크게 줄일 수 있다. 한 줄 더 들어가는 비용으로 디자이너와 경영진의 결론이 훨씬 정직해진다. 보고서 양식에 전체/디바이스/코호트 분할이 기본 행이 되도록 잡으면, 이 함정은 작아진다.

둘째, 트래픽 구성 변화를 의식한다. 디자인 변경과 동시에 일어난 다른 변화를 한 줄 적어두는 습관이 좋다. 이번 분기 모바일 비중이 50%에서 60%로 늘었다. 디자인 변경이 효과를 낸 건지, 트래픽 구성이 바뀐 건지, 이 두 변화가 섞여 보고서에 들어 있는지 별도로 표기한다.

셋째, A/B 테스트에서는 분할 분석이 그대로 인과 추정이 된다. 두 그룹의 무작위 배정이 변수 구성을 균등하게 만들기 때문이다. 단, 분할할 코호트는 미리 정의해야 한다. 사후에 자기 가설에 맞는 코호트만 골라내는 순간, A/B 테스트 안에서도 심슨의 역설이 다시 들어온다. 인과 글의 부분 그룹 분석 경계가 그대로 여기 적용된다.

넷째, 관찰 데이터를 디자인 결정에 쓸 때 한 단어를 조심한다. 디자인 효과로 전환률이 올랐다라고 쓰지 않는다. 디자인 변경과 전환률 상승이 함께 관찰됐다라고 쓴다. 한 단어가 보고서의 무게를 바꾼다.

마무리

심슨의 역설은 디자인 회의에서 매일 일어난다. 전체 평균은 출발점이지 결론이 아니다. 그 안에 어떤 구성이 섞여 있는지 묻는 것이 안전장치다. 분할해서 보면 또 다른 함정, 코호트별 selection bias가 기다리고 있다. 그 함정은 A/B 테스트의 무작위 배정이 해결해준다.

평균을 보고서에 옮기기 전에, 그 평균 안에 어떤 그룹이 어떤 비중으로 섞여 있는지 한 번 더 떠올리는 것. 그 한 줄이 디자인 결정의 정직함과 직결된다.

전체 평균은 출발점이지 답이 아니다. 분할해서 보고, 그 분할이 진짜 인과를 가리키는지 함께 확인했을 때만 비로소 보고서의 결론은 거짓말을 멈춘다.

분할해서 보기 시작하면, 그 다음엔 다른 종류의 함정이 기다린다. 여러 그룹을 동시에 비교하면, 우연히라도 한 그룹이 좋아 보일 확률은 어떻게 변하는가. 이 질문에 답하는 통계적 도구가 다음 글의 주제다.

다음 글로 이어지는 질문이다. 여러 코호트의 효과를 한 번에 비교하기 시작하면, 그 자체로 새로운 함정이 생긴다. 적어도 하나는 우연히 좋아 보인다는 통계적 현상, 다중비교 문제.