표준편차, 평균만으로는 부족한 이유

통계 이야기를 시작하면 대부분 평균부터 나온다. 학교에서, 뉴스에서, 업무 보고서에서 우리는 늘 평균을 본다. 이번 달 평균 매출, 평균 응답 시간, 우리 반 평균 점수. 숫자 하나로 무언가를 요약하는 직관이 너무나 자연스럽다.

그런데 평균만으로는 알 수 없는 것이 있다.

두 식당을 떠올려 보자.

A 식당: 평균 대기 시간 15분 B 식당: 평균 대기 시간 15분

같은 숫자다. 둘 다 15분이면 비슷한 경험일 것 같지만, 실제로는 그렇지 않을 수 있다.

A 식당은 대부분의 손님이 13~17분 사이에 들어간다. 기다림이 안정적이고, 메뉴가 나오는 속도도 일정하다. 반면 B 식당에서는 어떤 손님은 5분 만에 앉고, 어떤 손님은 25분을 기다린다. 평균은 15분이지만 B 식당에서 식사하는 경험은 들쭉날쭉하다.

어느 쪽이 더 좋은 식당일까? 답은 사람마다 다르지만, 평균 15분이라는 숫자 하나로는 두 식당의 차이가 드러나지 않는다.

비슷한 일이 시험 성적에도 일어난다. 한 반 평균 점수가 75점, 다른 반 평균 점수도 75점. 그런데 한 반은 대부분의 학생이 70~80점 사이고, 다른 반은 30점에서 100점까지 점수가 널리 퍼져 있을 수 있다. 두 반의 성적 수준이 같다고 할 수 있을까?

이렇게 평균만으로 판단하면 놓치는 것이 생긴다. 그 자리를 메우는 도구가 분산과 표준편차다.

이 글에서는 수식은 최소화하고, 개념과 직관만으로 표준편차가 무엇인지, 왜 필요한지, 어디에 쓸 수 있는지 다룬다.

편차

평균이 데이터의 중심이라면, 편차는 각 데이터가 그 중심에서 얼마나 떨어져 있는지를 나타내는 값이다.

앞에서 든 식당 예시를 이어 보자. A 식당의 평균 대기 시간이 15분일 때 손님 세 명의 대기 시간이 각각 13분, 15분, 17분이었다면:

편차의 계산은 단순하다. 개별 값에서 평균을 빼면 된다. 13 − 15 = −2, 15 − 15 = 0, 17 − 15 = +2.

음수가 나오는 이유는 간단하다. 평균보다 작으면 음수, 평균보다 크면 양수, 평균과 같으면 0이다.

편차를 그냥 다 더하면?

여기서 한 가지 궁금한 점이 생긴다. 편차를 모두 더하면 데이터가 전체적으로 평균에서 얼마나 떨어져 있는지 알 수 있지 않을까?

안 된다. 합계가 항상 0이 나온다.

A 식당 예시에서 편차를 모두 더하면 (−2) + 0 + (+2) = 0이다. 손님 수를 늘려도 결과는 같다. 평균보다 작은 값들의 거리 합과 평균보다 큰 값들의 거리 합이 정확히 같아져서 상쇄되기 때문이다.

이것은 평균의 정의에서 나오는 당연한 성질이다. 평균은 왼쪽 거리의 합과 오른쪽 거리의 합이 같아지는 자리에 놓인 점이다.

따라서 편차를 그대로 합치는 방식으로는 데이터가 얼마나 흩어져 있는지를 표현할 수 없다. 부호를 없애야 한다.

절댓값 대신 제곱을 쓰는 이유

부호를 없애는 가장 직관적인 방법은 절댓값을 취하는 것이다. 절댓값 −2는 2, 절댓값 +2는 2, 절댓값 0은 0이다. 음수든 양수든 거리로 환산된다.

그런데 통계학에서는 대부분 절댓값 대신 제곱을 쓴다. 이유는 크게 두 가지다.

첫째, 수학적으로 다루기 좋다. 제곱은 미분이 가능하고, 평균 제곱을 최소화하는 문제에서 깔끔한 답을 준다. 통계의 많은 이론이 편차 제곱합을 기반으로 만들어져 있다.

둘째, 극단값에 더 크게 반응한다. 평균에서 1만큼 떨어진 데이터는 절댓값 1, 제곱 1이다. 그런데 5만큼 떨어진 데이터는 절댓값 5, 제곱 25다. 평균에서 멀리 떨어진 값일수록 제곱이 더 커진다. 흩어짐을 잴 때 값이 얼마나 극단적인지까지 반영된다는 뜻이다.

이렇게 부호를 없앤 편차, 곧 편차의 제곱으로 다음 단계에 들어간다.

분산

앞에서 편차의 제곱으로 부호를 없앴다. 이제 데이터 전체의 흩어짐 정도를 하나의 숫자로 만들고 싶다.

자연스러운 방법은 편차 제곱의 평균을 내는 것이다. 이것이 바로 분산이다.

다시 A 식당 예시로 이어 보자.

편차 제곱의 합은 4 + 0 + 4 = 8이고, 손님이 세 명이었으므로 표본 분산은 3이 아니라 2로 나눈 8 / 2 = 4다. 왜 3이 아니라 2로 나누는지는 곧 다룬다.

해석은 이렇다. 분산이 작다는 것은 편차 제곱의 평균이 작다는 뜻이고, 곧 데이터가 평균 근처에 모여 있다는 뜻이다. 분산이 크면 그 반대다.

단위가 이상해진다

분산에는 한 가지 어색한 점이 있다. 단위가 제곱이 된다는 것이다.

A 식당 예시에서 대기 시간의 단위는 분이었다. 그런데 편차를 제곱하면 단위가 분²이 된다. 분산 4의 단위는 분²다. 어딘가 어색하다.

만약 측정 단위가 cm였다면 분산의 단위는 cm²가 된다. 키 데이터를 분산으로 구했는데 답이 cm²라면, 직관적으로 키의 흩어짐 정도라고 말하기 어렵다.

게다가 분산 값을 그대로 보면 숫자 4가 큰지 작은지 감이 잘 안 온다. 평균 대기 시간 15분과 분산 4를 비교하려면 둘의 단위가 달라 직접 비교가 어렵다.

이 문제를 해결하려면 단위를 원래대로 돌려놔야 한다. 방법은 다음 섹션에서 다루겠다.

표본 분산 vs 모집단 분산

분산을 실제로 계산할 때 작은 주의점이 하나 있다. 데이터 개수 n으로 나누느냐, n−1로 나누느냐이다.

직관적으로는 이렇다.

우리가 알고 싶은 것은 모집단, 즉 모든 데이터의 흩어짐이다. 예를 들어 대한민국 20대 남자 전체의 키 흩어짐 같은 것.

그런데 현실에서는 전체를 다 모으기 어렵다. 그래서 표본, 즉 일부만 추출한 데이터로 모집단을 추정한다.

문제는 표본 평균이 모집단 평균과 정확히 일치하지 않는다는 점이다. 편차를 모집단 평균이 아니라 표본 평균에서 재기 때문이다. 편차 제곱합은 어느 점에서 재도 표본 평균에서 잴 때가 가장 작으므로, 표본에서 잰 편차는 우연이 아니라 언제나 실제보다 작게 나온다. 그래서 표본으로 구한 분산은 모집단 분산보다 살짝 작게 나오는 경향이 있다.

이 편향을 보정하려고 n 대신 n−1로 나눈다. 나누는 수를 하나 줄이면 값이 살짝 커지고, 모집단 분산에 더 가까운 추정이 된다.

실무에서는 대부분의 경우 표본을 다루므로 n−1로 나누는 표본 분산을 기본으로 쓴다. 다만 데이터가 이미 모집단 전체라면 n으로 나눠도 무방하다.

수학적으로 엄밀히 다루려면 불편 추정량 같은 개념이 들어가지만, 여기서는 표본으로 추정할 때는 n−1로 나눈다는 사실만 기억하면 충분하다.

표준편차

분산의 단위가 제곱이 되는 문제를 가장 깔끔하게 해결하는 방법이 있다. 제곱근을 씌우는 것이다.

A 식당 예시로 돌아가 보자. 표본 분산은 4였다. 여기에 제곱근을 씌우면 √4 = 2. 이것이 표준편차다.

단위가 다시 분으로 돌아왔다. 이제 분산 4분² 대신 표준편차 2분이라고 말할 수 있다.

해석도 직관적이 된다. A 식당의 평균 대기 시간은 15분, 표준편차는 2분이다. 대부분의 손님은 평균에서 ±2분, 즉 13~17분 사이에 들어간다고 이해할 수 있다.

비교를 위해 B 식당도 계산해 보자. B 식당 데이터(5분, 15분, 25분)를 표본 분산 기준으로 계산하면 분산 = 100, 표준편차 = 10분이다.

평균은 같은 15분이지만 표준편차가 크게 다르다. A 식당은 안정적이고, B 식당은 손님마다 편차가 크다는 것이 숫자 하나로 분명히 드러난다.

왜 이름이 표준일까

표준편차라는 이름은 그냥 붙은 게 아니다.

이름 그대로 풀어보면, 기준이 되는 편차다. 흩어짐을 재는 기준 척도라는 뜻이다.

왜 기준이 될 수 있냐면, 현실 데이터 가운데 정규분포에 가까운 것이 적지 않기 때문이다. 정규분포에서는 평균을 중심으로 표준편차만큼 떨어진 구간에 일정한 비율의 데이터가 들어간다.

• 평균 ± 1σ 안에 약 68%
• 평균 ± 2σ 안에 약 95%
• 평균 ± 3σ 안에 약 99.7%

이 비율, 즉 68%, 95%, 99.7%는 정규분포라면 평균과 표준편차가 얼마든 똑같이 성립한다. 이 성질 때문에 표준편차는 흩어짐을 재는 단위가 된다. 표준편차 하나가 의미 있는 거리라는 약속이 통계학 전반에 퍼져 있고, 그래서 이름에 표준이 붙은 것이다.

이 비율에 대해서는 다음 섹션에서 다시 다루겠다.

왜 실무에서는 표준편차를 더 많이 쓰는가

이론적인 통계학에서는 분산과 표준편차 둘 다 중요하다. 분산은 편차 제곱합 기반 공식에서 계산이 깔끔하고, 많은 이론이 분산 위에서 만들어져 있다.

그러나 실무 보고서나 일반적인 해석에서는 표준편차가 압도적으로 많이 쓰인다. 이유는 단순하다.

• 단위가 원래 데이터와 같아 해석이 직관적이다.
• 평균 ± 표준편차 패턴이 널리 통용된다.
• 보고서, 논문, 뉴스에 같은 형태로 등장한다.

예를 들어 웹 페이지의 평균 로딩 시간이 2.3초, 표준편차가 0.4초라고 쓰면, 디자이너는 바로 대부분의 사용자는 1.9~2.7초 사이의 경험을 하겠구나 하고 감을 잡는다. 같은 내용을 분산 0.16초²라고 적는다면 아무도 감을 못 잡을 것이다.

이처럼 표준편차는 통계학의 이론과 실무를 연결하는 가장 보편적인 도구다.

정규분포

표준편차의 의미를 제대로 이해하려면 한 가지 분포 모양을 알아야 한다. 정규분포다.

정규분포는 통계학에서 가장 자주 등장하는 분포 모양이다. 종 모양처럼 생겨서 벨 커브라고도 부른다. 좌우 대칭이며, 중앙(평균)에서 가장 높은 봉우리를 가지고, 양쪽 꼬리로 갈수록 빈도가 줄어든다.

흥미로운 점은, 키, 시험 점수, 측정 오차, 공장 생산 길이 등 많은 현실 데이터가 정규분포에 가까워 보인다는 것이다. 그래서 정규분포가 통계학 전반에서 특별히 다뤄진다.

68-95-99.7 규칙

정규분포에서 표준편차는 명확한 의미를 가진다. 평균을 중심으로 표준편차만큼 떨어진 구간에 일정한 비율의 데이터가 들어간다.

• ±1 표준편차 구간 안에 데이터의 약 68%
• ±2 표준편차 구간 안에 약 95%
• ±3 표준편차 구간 안에 약 99.7%

이 비율은 정규분포의 수학적 정의에서 유도되는 값이다. 데이터의 단위나 평균이 무엇이든, 정규분포를 따른다면 항상 같은 비율이 나온다.

A 식당 예시로 돌아가 보자. 평균 15분, 표준편차 2분이라면:

• 약 68%의 손님은 13~17분 사이에서 입장한다.
• 약 95%의 손님은 11~19분 사이에서 입장한다.
• 거의 모든 손님(99.7%)은 9~21분 사이에서 입장한다.

만약 어떤 손님이 25분을 기다렸다면, 평균에서 5σ만큼 벗어났다. 거의 발생하지 않을 정도로 드문 케이스, 즉 이상치다.

범위를 가늠하고 이상치를 잡는다

68-95-99.7 규칙은 두 가지 상황에서 자주 쓰인다.

첫째, 데이터의 범위를 빠르게 가늠할 수 있다. 평균 100, 표준편차 10이라는 숫자만 보고도 대부분 90~110 사이에 있겠구나 하고 감을 잡을 수 있다.

둘째, 이상치를 감지할 수 있다. 평균에서 ±2σ 이상 떨어진 데이터는 약 5% 이내의 드문 케이스이고, ±3σ 이상은 0.3% 이내로 거의 확실한 이상치다. 디자이너에게 익숙한 예시로 바꿔 보자.

웹사이트 평균 로딩 시간 2.3초, 표준편차 0.4초. 어떤 사용자가 10초를 경험했다면, 평균에서 약 19σ만큼 벗어났다. 명백한 이상치다. 네트워크 문제든 잘못된 측정값이든 일반적이지 않은 일이 벌어진 것이다.

표준편차는 예상 가능한 범위를 정해주고, 그 범위를 크게 벗어나는 사례를 잡아내는 데 쓰인다.

정규분포가 아니면 안 맞는다

이 규칙은 데이터가 정규분포에 가까울 때만 성립한다. 데이터가 한쪽으로 치우치거나 꼬리가 두껍거나 봉우리가 여러 개라면 이 비율은 어긋난다.

어떤 데이터가 정규분포에 가까운지는 히스토그램을 그려서 종 모양에 가까운지 눈으로 확인하는 것이 가장 빠르다. 통계 검정으로 확인하는 방법도 있지만, 비전공자에게는 시각화가 가장 직관적이다.

이 한계에 대해서는 다음 섹션에서 다시 다루겠다.

표준편차로 무엇을 할 수 있는가

표준편차는 데이터의 흩어짐을 재는 도구다. 여기까지는 앞에서 다루었다. 그렇다면 이 도구를 실제로 어디에 쓸 수 있을까.

두 그룹의 차이를 정확히 비교하기

가장 흔한 활용은 두 그룹을 비교하는 것이다.

예를 들어 디자이너 두 명의 작업 완료 시간을 비교한다고 해보자.

디자이너 A: 평균 작업 시간 4시간, 표준편차 30분 디자이너 B: 평균 작업 시간 4시간, 표준편차 2시간

평균만 보면 둘 다 4시간으로 같다. 하지만 표준편차를 보면 상황이 완전히 다르다.

• 디자이너 A는 대부분의 작업을 3.5~4.5시간 사이에 끝낸다. 일관성이 높다.
• 디자이너 B는 어떤 작업은 2시간, 어떤 작업은 6시간이 걸린다. 일관성이 낮다.

어느 디자이너를 선호할지는 상황에 따라 다르지만, 평균만으로는 이 차이가 드러나지 않는다. 표준편차를 함께 봐야 두 사람의 작업 패턴이 얼마나 다른지 드러난다.

평균이 같은 두 데이터를 비교할 때 특히 중요하다. 평균만 보고 둘이 비슷하다고 판단하는 것은 위험하다.

A/B 테스트 결과 해석하기

웹이나 앱에서 A/B 테스트를 해본 적이 있다면, 표준편차는 결과를 해석하는 핵심 도구다.

A/B 테스트란 사용자를 두 그룹으로 나눠서 어떤 버전이 더 나은지 비교하는 실험이다. 예를 들어 버튼 색상을 파란색에서 빨간색으로 바꾸면 클릭률이 올라가는가 같은 질문에 답할 때 쓰인다.

흔히 하는 실수가 평균 클릭률만 비교하는 것이다.

버전 A (파란 버튼): 평균 클릭률 5.2% 버전 B (빨간 버튼): 평균 클릭률 5.5%

빨간 버튼이 0.3%p 더 높다. 빨간색이 낫다고 바로 결론 내리고 싶어진다. 그러나 표준편차를 보면 이야기가 달라질 수 있다.

버전 A: 표준편차 0.2%p 버전 B: 표준편차 2.0%p

버전 A는 측정값의 약 68%가 5.0~5.4% 사이에 들 만큼 안정적이다. 반면 버전 B는 어떤 사용자에겐 3%, 어떤 사용자에겐 8%로 편차가 크다. 평균 5.5%라는 숫자 뒤에는 들쭉날쭉한 사용자 경험이 숨어 있을 수 있다.

평균 차이가 표준편차에 비해 아주 작으면 그 차이를 의심해 볼 만하다. 다만 우연인지 아닌지는 표본 크기까지 봐야 갈리므로, 표본이 크면 작은 차이도 우연이 아닐 수 있다.

품질 관리에 쓰기

제조업과 품질 관리에서는 표준편차를 핵심 지표로 쓴다.

예를 들어 병에 음료를 담는 공장이 있다고 해보자. 목표는 병당 500ml다.

목표: 평균 500ml, 표준편차 5ml

이 경우 약 95%의 병이 490~510ml 사이에 들어간다. ±15ml 이상 벗어난 병은 약 0.3%로, 거의 발생하지 않는다. 이 정도 표준편차라면 품질이 안정적이라고 본다.

만약 표준편차가 20ml로 커지면, 약 5%의 병이 460ml 아래이거나 540ml 위로 벗어난다. 품질이 불안정해졌다는 신호다.

표준편차는 평균이 얼마나 일관되게 유지되는가를 나타내는 지표로, 품질 관리뿐 아니라 디자인 시스템의 일관성 측정, 작업 프로세스의 안정성 평가 등 다양한 곳에 응용된다.

표준편차의 한계

표준편차는 강력한 도구지만, 만능은 아니다. 표준편차를 무작정 적용하면 잘못된 결론에 이를 수 있다. 어떤 경우에 주의해야 하는지 살펴보자.

비대칭 분포에서는 어긋난다

표준편차와 68-95-99.7 규칙은 데이터가 좌우 대칭에 가까운 정규분포일 때 가장 잘 작동한다. 한쪽으로 치우친 분포에서는 이야기가 달라진다.

흔한 예로 소득 분포가 있다.

가구 소득 평균 6,000만 원, 표준편차 4,000만 원

평균 ± 1σ로 계산하면 약 68%의 가구가 2,000만 원~1억 원 사이에 있다고 말할 수 있을까? 사실 그렇지 않다.

소득 분포는 보통 오른쪽으로 길게 꼬리를 끄는 형태다. 대부분의 가구는 평균보다 적은 쪽에 몰려 있고, 아주 일부의 고소득 가구가 평균을 끌어올린다. 이런 분포에서는 평균과 표준편차가 전형적인 가구를 잘 대표하지 못한다.

이런 경우 평균 ± 1σ라는 표현은 거의 의미가 없어지고, 대신 중앙값과 사분위수 범위를 쓰는 것이 더 정확하다.

극단값에 민감하다

표준편차는 극단값에 크게 반응한다. 이 점이 때로는 약점이 된다.

앞에서 든 A 식당 예시로 돌아가 보자. 손님 대부분은 11~19분 사이에 들어오는데, 한 손님이 우연히 60분을 기다렸다면:

• 손님이 26명이었다면 이 한 명이 평균을 15분에서 16.7분으로 끌어올린다.
• 분산과 표준편차도 크게 증가한다.
• 결과적으로 A 식당의 대기 시간이 보통 11~19분이라고 더 이상 말할 수 없게 된다.

극단값이 본래 데이터의 일부라면 문제가 안 된다. 하지만 측정 오류나 데이터 입력 실수라면 어떨까? 평균과 표준편차가 모두 오염되어 분석 결과를 왜곡한다.

이런 경우 표준편차 대신 중앙값과 사분위수 범위를 쓰면 극단값에 덜 흔들린다.

표준편차가 잘 안 맞는 경우

표준편차가 잘 안 맞는 상황과 그 대안을 간단히 정리하겠다.

• 극단값이 많거나 비대칭인 분포: 중앙값 + 사분위 범위
• 이상치 감지가 중요한 경우: 중앙값 절대 편차(MAD)
• 데이터가 범주형이거나 순서만 있는 경우: 표준편차 자체가 의미 없음

비전공자라면 데이터가 정규분포에 가까울 때는 표준편차, 아니면 중앙값과 사분위수 범위라는 원칙만 기억해도 충분하다.

마무리

이 글에서 다룬 내용을 한 문장으로 요약하면 이렇다.

표준편차는 평균을 중심으로 데이터가 얼마나 흩어져 있는지를 나타내는 지표이며, 정규분포를 가정할 때 ±1σ에 약 68%, ±2σ에 약 95%, ±3σ에 약 99.7%의 데이터가 들어간다.

이 문장만 기억해도 실무에서 표준편차를 해석하는 데 큰 무리가 없다.

표준편차를 알면 자연스럽게 다음 개념들이 따라온다.

• z-score, 즉 표준 점수. 개별 데이터가 평균에서 표준편차 몇 개만큼 떨어져 있는지. 이 학생은 평균보다 1.5σ 위 같은 표현으로 쓰인다.
• 신뢰구간. 표본 평균의 불확실성을 표준편차를 표본 크기의 제곱근으로 나눈 값의 ±1.96배 등으로 표현. 이 평균은 95% 신뢰구간에서 X~Y 사이에 있다는 식의 보고서 표현이 모두 여기서 나온다.
• t-분포. 표본 크기가 작을 때 표준편차의 불확실성을 보정하는 도구. 표본에 기반한 추론의 출발점이다.

이 주제들은 표준편차를 데이터를 요약하는 도구에서 데이터로 추론하는 도구로 확장해 준다. 별도 글로 다루겠다.