인과관계 vs 상관관계, 디자인 의사결정의 안전장치

들어가며

디자인을 바꿨다. 한 달 후 페이지뷰가 올랐다. 디자인이 잘 됐나 보다, 우리 팀이 잘한 거다. 보고서에 그렇게 적었다.

그런데 며칠 뒤 의문이 생겼다. 그 한 달 사이에 마케터가 캠페인을 한 번 했고, 업계 행사 시즌이라 검색 유입이 늘었으며, 경쟁사 사이트가 일시적으로 다운됐다. 페이지뷰가 오른 건 디자인 때문이 아니라 그 중 하나, 혹은 셋 다 때문일 수 있다. 디자인 변경은 그 사이 어딘가에서 일어났을 뿐이다.

이게 인과관계와 상관관계의 경계다. 둘이 함께 움직였다는 사실 하나로는 어느 쪽이 원인인지 알 수 없다. 그런데 디자인 업무에서는 이 경계를 무너뜨리는 실수가 자주 일어난다. 결과가 호의적이면 디자인을 칭찬하고, 결과가 나쁘면 디자인 탓한다. 두 경우 모두 같은 구조다. 함께 변하는 것을 인과처럼 해석하는 것.

이 글에서는 이 경계가 왜 무너지기 쉬운지, 디자인 결정에서 어디서 함정이 나오는지, 그리고 어떻게 안전하게 구분할 수 있는지 다룬다.

상관관계와 인과관계는 무엇이 다른가

두 개념은 단순하게 정의할 수 있다. 상관관계는 두 변수가 함께 움직인다는 뜻이다. A가 올라갈 때 B도 올라간다. A가 내려갈 때 B도 내려간다. 그 정도의 관계만 본다. 어느 쪽이 원인이고 어느 쪽이 결과인지는 알려주지 않는다. 둘이 같이 움직인다는 사실만 보여준다.

인과관계는 다르다. 인과관계는 A가 B를 일으킨다는 뜻이다. 방향성이 있다. A가 원인이고 B가 결과다. 그리고 다른 가능성이 배제된다. A 외에 B를 움직일 수 있는 다른 원인이 없다는 가정까지 포함된다.

가장 흔한 비교 사례가 여름 데이터다. 아이스크림 판매량과 익사 사고 건수. 둘 다 여름에 늘고 겨울에 줄어든다. 강한 양의 상관관계다. 하지만 아이스크림이 익사를 일으키지 않는다. 둘 다 여름이라는 제3의 변수가 둘을 동시에 끌어올리는 거다. 기온. 기온이 아이스크림 판매도 올리고, 사람들이 물에 들어가는 횟수도 늘린다. 익사 사고는 그 과정에서 발생한다.

이 사례가 디자인에도 그대로 적용된다. 디자인 변경과 어떤 지표가 함께 움직일 때, 그것만으로는 디자인이 원인이라고 말할 수 없다. 다른 변수가 동시에 움직였을 가능성이 항상 있다. 그 변수를 통제하지 않은 채 인과처럼 말하는 것은 아이스크림이 익사를 일으킨다고 말하는 것과 같다.

왜 우리는 두 개를 헷갈리는가

이 경계가 무너지기 쉬운 이유는 인지 구조에 있다. 인간 뇌는 두 사건이 시간상 가까이 일어나면 자동으로 원인-결과를 그린다. 이건 합리적 사고의 출발점이 아니라 지름길이다. 대부분의 경우 이 지름길이 작동한다. 밥을 먹고 배가 부르면, 밥이 원인이라고 본다. 그래서 뇌는 그 패턴을 기본값으로 쓴다.

그런데 디자인 영역에서는 그 기본값이 자주 오작동한다. 디자인 변경과 지표 변화 사이에 시간이 짧고, 둘이 같은 흐름 안에 있기 때문이다. 뇌는 자동으로 인과를 가정하고 보고서에 옮겨적는다. 의도 없이 일어난다.

확증 편향과도 맞물린다. 우리가 밀고 있던 디자인이 좋은 결과를 내면, 그 결과를 인과로 받아들이는 속도가 빨라진다. 반대로 밀고 있던 디자인이 나쁜 결과를 내면, 외부 변수의 영향을 먼저 떠올리며 인과를 의심한다. 같은 패턴의 데이터인데 결론만 뒤집는다. 같은 확증 편향의 두 얼굴이다.

디자인에서 자주 만나는 함정

이제 구체적인 함정 패턴을 본다. 디자인 의사결정에서 인과처럼 보이는 상관이 자주 등장하는 자리가 있다.

첫 번째는 페이지뷰 변화다. 디자인 변경 후 페이지뷰가 올랐다. 같은 시점에 새 캠페인이 시작됐고 검색 유입이 늘었다. 둘 중 무엇이 원인인지 한눈에 알 수 없다. 디자인이 원인이라고 결론 내리면 다음 디자인 의사결정도 같은 데이터로 정당화된다. 그런데 다음번에는 캠페인이 없으면 페이지뷰가 다시 떨어진다. 그때 가서 디자인 탓을 한다. 같은 실수의 변주다.

두 번째는 NPS와 이탈의 관계다. 이탈한 사용자들 중에 NPS 점수가 낮은 비율이 높았다. 그래서 NPS 낮은 게 이탈 원인이라고 본다. 그런데 이건 인과가 아니다. 둘 다 같은 원인, 즉 서비스 불만족, 가격 문제, 경쟁사 매력의 결과일 수 있다. NPS와 이탈은 같은 원인에서 나온 두 결과지, 서로 인과가 아니다. NPS를 올리려고 예산을 써도 이탈은 그대로일 수 있다.

세 번째는 동시 변경이다. 새 일러스트와 함께 버튼 색도 바꾸고 카피도 손봤다. 클릭률이 올랐다. 어떤 변경이 원인인지 모른다. 셋 중 하나일 수도, 셋의 조합일 수도, 셋 다 무관할 수도 있다. 이걸 인과처럼 해석하려면 각 변경을 따로 테스트해야 한다. 동시에 묶어서 테스트하면 답을 알 수 없다.

네 번째는 A/B 테스트 결과를 인과가 아닌 상관으로 해석하는 패턴이다. A/B 테스트는 본래 인과를 추정하는 도구인데, 사후 분석이나 부분 그룹 분석으로 들어가면 상관으로 돌아간다. 일단 A/B 테스트로 인과를 잡고, 그 안에서 또 자기 가설에 맞는 그룹만 골라서 효과를 주장하면, 그건 인과가 아니라 다시 상관이다.

A/B 테스트가 인과 가능한 이유

인과와 상관을 구분하는 도구가 몇 개 있다. 그중 디자인 실무에서 가장 흔한 도구가 A/B 테스트다. A/B 테스트가 인과 추정이 가능한 이유는 무작위 배정에 있다.

핵심 메커니즘은 이렇다. 사용자를 두 그룹으로 나눌 때 어느 그룹에 들어갈지 우연으로 결정한다. 동전 던지기 같은 거다. 이렇게 하면 두 그룹은 처치를 제외하면 본질적으로 비슷한 성격을 갖게 된다. 평균 나이도 비슷하고, 사용 패턴도 비슷하고, 외부에서 들어오는 영향도 비슷하다. 시즌, 캠페인, 경쟁사 이슈 같은 외부 변수는 양 그룹에 똑같이 작용한다.

그래서 디자인 변경만 다른 상태에서 결과 지표만 다른 차이가 보이면, 그 차이는 디자인 변경 때문일 가능성이 높다. 이게 인과 추정의 기본 논리다. 양 그룹의 차이를 디자인 처치로 돌리는 것이다. 이 논리가 성립하려면 무작위 배정이 깨지지 않아야 한다. 한쪽 그룹에 특정 사용자가 몰리거나, 그룹 간 노출 시간이 달라지면 추정이 흔들린다.

A/B 테스트는 디자이너가 인과에 가장 가까이 갈 수 있는 도구다. 다만 이 도구가 완벽하지는 않다. 표본 크기가 작으면 인과를 잡아도 우연일 수 있고, 측정 지표가 잘못 정의되면 진짜 효과를 놓친다. 그래서 A/B 테스트는 잘 짤 때만 인과 도구가 된다. 잘못 짜면 상관으로 돌아간다.

관찰 데이터의 한계

A/B 테스트가 어려운 상황들이 있다. 새 디자인을 출시한 뒤 자연스럽게 사용자 행동이 어떻게 변했는지 보고 싶을 때, A/B 테스트를 이미 안 했고 사후에 데이터를 보는 상황. 이런 데이터를 관찰 데이터라고 한다.

관찰 데이터의 근본적 문제는 인과와 상관을 구분하기 어렵다는 것이다. 처치와 결과 사이에 다른 변수가 끼어들 수 있다. 시즌, 캠페인, 경쟁사 이슈, 사용자 믹스 변화, 이 모든 게 동시에 움직였을 수 있다. A/B 테스트처럼 무작위 배정으로 통제되지 않았기 때문에, 우리가 보는 변화가 정말 디자인 때문이라고 단정하기 어렵다.

그래도 인과를 추정하려는 통계적 도구들이 있다. 자연 실험, 도구 변수, 성향 점수 매칭. 이 도구들은 A/B 테스트 없이도 인과에 가까운 추정을 시도한다. 다만 각각 강한 가정이 필요하고, 잘못 쓰면 오히려 잘못된 인과를 그럴듯하게 포장한다. 디자이너가 직접 다룰 영역은 아니고, 데이터 분석가나 통계 전문가에게 의뢰해야 하는 영역이다.

실무에서 디자이너가 할 수 있는 일은 한 가지다. 관찰 데이터를 보고 인과처럼 단정하지 않기. 디자인 변경과 지표 변화가 함께 보일 때, 보고서에 라인으로 적기 전에 한 번 더 자문한다. 이 변화가 디자인 때문이라면 왜 A/B 테스트를 안 했는가. 안 했다면, 지금 인과라고 말해도 되는가. 대부분 답은 아니다.

디자이너가 실무에서 지킬 수 있는 것

인과와 상관을 구분하는 일은 디자이너 한 사람의 업무는 아니다. 통계 전문가와 데이터 팀이 같이 해야 하는 일이다. 하지만 디자이너가 스스로 지킬 수 있는 안전 장치들이 있다.

첫째, 디자인 변경을 도입할 때 가능한 한 A/B 테스트로 검증한다. 무작위 배정, 사전 정의된 지표, 사전 등록된 표본 크기, 이 세 가지가 갖춰져야 인과 추정이 가능하다. 셋 중 하나라도 빠지면 추정의 근거가 약해진다.

둘째, A/B 테스트 결과를 인과로 받아들이기 전에 결과를 다시 본다. 측정 기간이 충분한가, 표본 크기가 모자라진 않았나, 부분 그룹 분석으로 들어가서 자기 가설에 맞는 그룹만 골라낸 건 아닌가. A/B 테스트 안에서도 이걸 점검하지 않으면 상관으로 돌아간다.

셋째, 관찰 데이터를 보고 디자인 결정에 쓰려면 단정어를 줄인다. 디자인 변경 덕에 페이지뷰가 올랐다고 쓰지 않는다. 디자인 변경과 페이지뷰 상승이 함께 관찰됐다고 쓴다. 보고서의 한 줄이 디자인 팀의 자기 확인 편향을 강화할 수 있다.

넷째, 인과가 필요한 결정은 따로 표시한다. 모든 디자인 결정을 인과로 정당화할 필요는 없다. 작은 색 변경, 카피 다듬기 같은 결정은 인과 추정 없이도 진행할 수 있다. 반대로 큰 구조 변경이나 예산이 따라가는 결정은 인과가 필요하다. 결정의 크기에 따라 요구되는 근거 수준을 다르게 두면, 디자이너는 더 가볍게 일할 수 있다.

마무리

인과관계와 상관관계의 경계는 디자인 의사결정의 안전장치다. 이 경계를 모르고 일하면 보고서가 자기 확인 도구로 변하고, 잘한 결정과 못 한 결정이 같은 잣대로 평가된다. 경계를 알면 적어도 잘못된 인과로 결정하는 일은 줄어든다.

핵심은 이 한 줄이다. A/B 테스트는 인과 가능, 관찰 데이터는 상관만 보인다. 디자이너는 이 한 줄을 보고서에 적기 직전에 한 번 더 떠올릴 수 있으면 충분하다.

확증 편향 글에서는 A/B 테스트 결과를 자기가 밀고 있던 디자인 방향으로만 해석하는 패턴, 디자인 리뷰에서 본인 결함을 옹호하는 논거만 골라 듣는 패턴을 다룬다. 인과와 확증 편향이 만날 때 가장 위험한 디자인 결정이 나온다.