표준편차, 평균만으로는 부족한 이유

통계 이야기를 시작하면 대부분 평균부터 나온다. 학교에서, 뉴스에서, 업무 보고서에서 우리는 늘 평균을 본다. 이번 달 평균 매출, 평균 응답 시간, 우리 반 평균 점수. 숫자 하나로 무언가를 요약하는 직관이 너무나 자연스럽다.

그런데 평균만으로는 알 수 없는 것이 있다.

두 식당을 떠올려 보자.

A 식당: 평균 대기 시간 15분 B 식당: 평균 대기 시간 15분

같은 숫자다. 둘 다 15분이면 비슷한 경험일 것 같지만, 실제로는 그렇지 않을 수 있다.

A 식당은 대부분의 손님이 13~17분 사이에 들어간다. 기다림이 안정적이고, 메뉴가 나오는 속도도 일정하다. 반면 B 식당에서는 어떤 손님은 5분 만에 앉고, 어떤 손님은 25분을 기다린다. 평균은 15분이지만 B 식당에서 식사하는 경험은 들쭉날쭉하다.

어느 쪽이 더 좋은 식당일까? 답은 사람마다 다르지만, 분명한 것은, 평균 15분이라는 숫자 하나만으로는 두 식당의 차이를 절대 알 수 없다는 점이다.

비슷한 일이 시험 성적에도 일어난다. 한 반 평균 점수가 75점, 다른 반 평균 점수도 75점. 그런데 한 반은 대부분의 학생이 70~80점 사이고, 다른 반은 30점에서 100점까지 점수가 널리 퍼져 있을 수 있다. 두 반의 성적 수준이 같다고 할 수 있을까?

이렇게 평균만으로 무언가를 판단하려고 할 때 빠지는 구멍이 있다. 그 구멍을 메우기 위한 도구가 바로 분산과 표준편차다.

이 글에서는 수식은 최소화하고, 개념과 직관만으로 표준편차가 무엇인지, 왜 필요한지, 어디에 쓸 수 있는지 다룬다.

편차

평균이 데이터의 중심이라면, 편차는 각 데이터가 그 중심에서 얼마나 떨어져 있는지를 나타내는 거리다.

앞에서 든 식당 예시를 이어 보자. A 식당의 평균 대기 시간이 15분일 때 손님 세 명의 대기 시간이 각각 13분, 15분, 17분이었다면:

편차의 계산은 단순하다. 개별 값에서 평균을 빼면 된다. 13 − 15 = −2, 15 − 15 = 0, 17 − 15 = +2.

음수가 나오는 이유는 간단하다. 평균보다 작으면 음수, 평균보다 크면 양수, 평균과 같으면 0이다.

편차를 그냥 다 더하면?

여기서 한 가지 궁금한 점이 생긴다. 편차를 모두 더하면 데이터가 전체적으로 평균에서 얼마나 떨어져 있는지 알 수 있지 않을까?

안 된다. 합계가 항상 0이 나온다.

A 식당 예시에서 편차를 모두 더하면 (−2) + 0 + (+2) = 0이다. 손님 수를 늘려도 결과는 같다. 평균보다 작은 값들의 거리 합과 평균보다 큰 값들의 거리 합이 정확히 같아져서 상쇄되기 때문이다.

이것은 평균의 정의에서 나오는 당연한 성질이다. 평균은 데이터를 양쪽으로 똑같이 흔들어 중심을 잡은 점이고, 그 점에서 왼쪽·오른쪽 거리의 합은 항상 같다.

따라서 편차를 그대로 합치는 방식으로는 데이터가 얼마나 흩어져 있는지를 표현할 수 없다. 부호를 없애야 한다.

절댓값 대신 제곱을 쓰는 이유

부호를 없애는 가장 직관적인 방법은 절댓값을 취하는 것이다. 절댓값 −2는 2, 절댓값 +2는 2, 절댓값 0은 0이다. 음수든 양수든 거리로 환산된다.

그런데 통계학에서는 대부분 절댓값 대신 제곱을 쓴다. 이유는 크게 두 가지다.

첫째, 수학적으로 다루기 좋다. 제곱은 미분이 가능하고, 평균 제곱을 최소화하는 문제에서 깔끔한 답을 준다. 통계의 많은 이론이 편차 제곱합을 기반으로 만들어져 있다.

둘째, 극단값에 더 크게 반응한다. 평균에서 1만큼 떨어진 데이터는 절댓값 1, 제곱 1이다. 그런데 5만큼 떨어진 데이터는 절댓값 5, 제곱 25다. 평균에서 멀리 떨어진 값일수록 제곱이 더 크게 만든다. 흩어짐을 측정할 때 극단적인 정도까지 자연스럽게 반영된다는 뜻이다.

이렇게 부호를 없앤 편차, 보통 편차의 제곱을 가지고 다음 단계로 넘어간다.

분산

이전 섹션에서 편차의 제곱으로 부호를 없앴다. 이제 데이터 전체의 흩어짐 정도를 하나의 숫자로 만들고 싶다.

자연스러운 방법은 편차 제곱의 평균을 내는 것이다. 이것이 바로 분산이다.

다시 A 식당 예시로 이어 보자.

편차 제곱의 합은 4 + 0 + 4 = 8이고, 손님이 3명이었으므로 표본 분산은 8 / 2 = 4다.

해석은 이렇다. 분산이 작다는 것은 편차 제곱의 평균이 작다는 뜻이고, 곧 데이터가 평균 근처에 모여 있다는 뜻이다. 분산이 크면 그 반대다.

단위가 이상해진다

분산에는 한 가지 어색한 점이 있다. 단위가 제곱이 된다는 것이다.

A 식당 예시에서 대기 시간의 단위는 분이었다. 그런데 편차를 제곱하면 단위가 분²이 된다. 분산 4의 단위는 분²다. 어딘가 어색하다.

만약 측정 단위가 cm였다면 분산의 단위는 cm²가 된다. 키 데이터를 분산으로 구했는데 답이 cm²라면, 직관적으로 키의 흩어짐 정도라고 말하기 어렵다.

게다가 분산 값을 그대로 보면 숫자 4가 큰지 작은지 감이 잘 안 온다. 평균 대기 시간 15분과 분산 4를 비교하려면 둘의 단위가 달라 직접 비교가 어렵다.

이 문제를 해결하려면 단위를 원래대로 돌려놔야 한다. 방법은 다음 섹션에서 다루겠다.

표본 분산 vs 모집단 분산

분산을 실제로 계산할 때 작은 주의점이 하나 있다. 데이터 개수 n으로 나누느냐, n−1로 나누느냐이다.

직관적으로는 이렇다.

우리가 알고 싶은 것은 모집단, 즉 모든 데이터의 흩어짐이다. 예를 들어 대한민국 20대 남자 전체의 키 흩어짐 같은 것.

그런데 현실에서는 전체를 다 모으기 어렵다. 그래서 표본, 즉 일부만 추출한 데이터로 모집단을 추정한다.

문제는 표본 평균이 모집단 평균과 정확히 일치하지 않는다는 점이다. 표본이 우연히 평균 쪽 데이터만 골라 담았다면, 표본의 편차들은 실제보다 작게 나온다. 그래서 표본으로 구한 분산은 모집단 분산보다 살짝 작게 나오는 경향이 있다.

이 편향을 보정하려고 n 대신 n−1로 나눈다. 한두 개 덜 나누면 값이 살짝 커지고, 모집단 분산에 더 가까운 추정이 된다.

실무에서는 대부분의 경우 표본을 다루므로 n−1로 나누는 표본 분산을 기본으로 쓴다. 다만 데이터가 이미 모집단 전체라면 n으로 나눠도 무방하다.

수학적으로 엄밀히 다루려면 불편 추정량 같은 개념이 들어가지만, 여기서는 표본으로 추정할 때는 n−1로 나눈다는 사실만 기억하면 충분하다.

표준편차

분산의 단위가 제곱이 되는 문제를 가장 깔끔하게 해결하는 방법이 있다. 제곱근을 씌우는 것이다.

A 식당 예시로 돌아가 보자. 표본 분산은 4였다. 여기에 제곱근을 씌우면 √4 = 2. 이것이 표준편차다.

단위가 다시 분으로 돌아왔다. 이제 분산 4 분² 대신 표준편차 2 분이라고 말할 수 있다.

해석도 직관적이 된다. A 식당의 평균 대기 시간은 15분, 표준편차는 2분이다. 대부분의 손님은 평균에서 ±2분, 즉 13~17분 사이에 들어간다고 이해할 수 있다.

비교를 위해 B 식당도 계산해 보자. B 식당 데이터(5분, 15분, 25분)를 표본 분산 기준으로 계산하면 분산 = 100, 표준편차 = 10분이다.

평균은 같은 15분이지만 표준편차가 크게 다르다. A 식당은 안정적이고, B 식당은 손님마다 편차가 크다는 것이 숫자 하나로 분명히 드러난다.

왜 이름이 표준일까

표준편차라는 이름에는 통계학의 깊은 선택이 담겨 있다.

이름 그대로 풀어보면, 기준이 되는 편차다. 흩어짐을 재는 데 있어 기준 척도라는 뜻이다.

왜 기준이 될 수 있냐면, 대부분의 데이터가 정규분포에 가까워 보인다는 경험적 사실과 연결된다. 정규분포에서는 평균을 중심으로 표준편차만큼 떨어진 구간에 일정한 비율의 데이터가 들어간다.

• 평균 ± 1σ 안에 약 68%
• 평균 ± 2σ 안에 약 95%
• 평균 ± 3σ 안에 약 99.7%

이 비율, 즉 68%, 95%, 99.7%는 정규분포에서 데이터의 분포 모양에 거의 무관하게 성립한다. 이 성질 때문에 표준편차는 한 단위 거리 역할을 한다. 표준편차 하나가 의미 있는 거리라는 약속이 통계학 전반에 퍼져 있고, 그래서 이름에 표준이 붙은 것이다.

이 비율에 대해서는 다음 섹션에서 다시 다루겠다.

왜 실무에서는 표준편차를 더 많이 쓰는가

이론적인 통계학에서는 분산과 표준편차 둘 다 중요하다. 분산은 편차 제곱합 기반 공식에서 계산이 깔끔하고, 많은 이론이 분산 위에서 만들어져 있다.

그러나 실무 보고서나 일반적인 해석에서는 표준편차가 압도적으로 많이 쓰인다. 이유는 단순하다.

• 단위가 원래 데이터와 같아 해석이 직관적이다.
• 평균 ± 표준편차 패턴이 어디서든 통용된다.
• 보고서, 논문, 뉴스 어디에나 같은 형태로 등장한다.

예를 들어 웹 페이지의 평균 로딩 시간이 2.3초, 표준편차가 0.4초라고 쓰면, 디자이너는 바로 대부분의 사용자는 1.9~2.7초 사이의 경험을 하겠구나 하고 감을 잡는다. 같은 내용을 분산 0.16초²이라고 적는다면 아무도 감이 안 잡을 것이다.

이처럼 표준편차는 통계학의 이론과 실무를 연결하는 가장 보편적인 도구다.

정규분포

표준편차의 의미를 제대로 이해하려면 한 가지 분포 모양을 알아야 한다. 정규분포다.

정규분포는 통계학에서 가장 자주 등장하는 분포 모양이다. 종 모양처럼 생겨서 벨 커브라고도 부른다. 좌우 대칭이며, 중앙(평균)에서 가장 높은 봉우리를 가지고, 양쪽 꼬리로 갈수록 빈도가 줄어든다.

흥미로운 점은, 키, 시험 점수, 측정 오차, 공장 생산 길이 등 많은 현실 데이터가 정규분포에 가까워 보인다는 것이다. 그래서 정규분포가 통계학 전반에서 특별히 다뤄진다.

68-95-99.7 규칙

정규분포에서 표준편차는 명확한 의미를 가진다. 평균을 중심으로 표준편차만큼 떨어진 구간에 일정한 비율의 데이터가 들어간다.

• ±1 표준편차 구간 안에 데이터의 약 68%
• ±2 표준편차 구간 안에 약 95%
• ±3 표준편차 구간 안에 약 99.7%

이 비율은 정규분포의 수학적 정의에서 유도되는 값이다. 데이터의 단위나 평균이 무엇이든, 정규분포를 따른다면 항상 같은 비율이 나온다.

A 식당 예시로 돌아가 보자. 평균 15분, 표준편차 2분이라면:

• 약 68%의 손님은 13~17분 사이에서 입장한다.
• 약 95%의 손님은 11~19분 사이에서 입장한다.
• 거의 모든 손님(99.7%)은 9~21분 사이에서 입장한다.

만약 어떤 손님이 25분을 기다렸다면, 평균에서 약 5σ만큼 벗어났다. 거의 발생하지 않을 정도로 드문 케이스, 즉 이상치다.

이 규칙으로 무엇을 할 수 있는가

68-95-99.7 규칙은 두 가지 상황에서 자주 쓰인다.

첫째, 데이터의 범위를 빠르게 가늠할 수 있다. 평균 100, 표준편차 10이라는 숫자만 보고도 대부분 90~110 사이에 있겠구나 하고 감을 잡을 수 있다.

둘째, 이상치를 감지할 수 있다. 평균에서 ±2σ 이상 떨어진 데이터는 약 5% 이내의 드문 케이스이고, ±3σ 이상은 0.3% 이내로 거의 확실한 이상치다. 디자이너에게 익숙한 예시로 바꿔 보자.

웹사이트 평균 로딩 시간 2.3초, 표준편차 0.4초. 어떤 사용자가 10초를 경험했다면, 평균에서 약 19σ 만큼 벗어났다. 명백한 이상치다. 네트워크 문제든 잘못된 측정값이든 일반적이지 않은 일이 벌어진 것이다.

이처럼 표준편차는 예상 가능한 범위를 정해주고, 그 범위를 크게 벗어나는 사례를 잡아내는 데 쓰인다.

한 가지 주의

이 규칙은 데이터가 정규분포에 가까울 때만 성립한다. 데이터가 한쪽으로 치우치거나 꼬리가 두껍거나 봉우리가 여러 개라면 이 비율은 어긋난다.

어떤 데이터가 정규분포에 가까운지는 히스토그램을 그려서 종 모양에 가까운지 눈으로 확인하는 것이 가장 빠르다. 통계 검정으로 확인하는 방법도 있지만, 비전공자에게는 시각화가 가장 직관적이다.

이 한계에 대해서는 다음 섹션에서 다시 다루겠다.

표준편차로 무엇을 할 수 있는가

표준편차가 데이터의 흩어짐을 측정하는 도구라는 점은 앞에서 다루었다. 그렇다면 이 도구를 실제로 어디에 쓸 수 있을까.

두 그룹의 차이를 정확히 비교하기

가장 흔한 활용은 두 그룹을 비교할 때다.

예를 들어 디자이너 두 명의 작업 완료 시간을 비교한다고 해보자.

디자이너 A: 평균 작업 시간 4시간, 표준편차 30분 디자이너 B: 평균 작업 시간 4시간, 표준편차 2시간

평균만 보면 둘 다 4시간으로 같다. 하지만 표준편차를 보면 상황이 완전히 다르다.

• 디자이너 A는 대부분의 작업을 3.5~4.5시간 사이에 끝낸다. 일관성이 높다.
• 디자이너 B는 어떤 작업은 2시간, 어떤 작업은 6시간이 걸린다. 일관성이 낮다.

어느 디자이너를 선호할지는 상황에 따라 다르지만, 평균만으로는 이 차이를 절대 알 수 없다. 표준편차를 함께 봐야 두 사람의 작업 패턴이 얼마나 다른지 드러난다.

평균이 같은 두 데이터를 비교할 때 특히 중요하다. 평균만 보고 둘이 비슷하구나라고 판단하는 것은 위험하다.

A/B 테스트 결과 해석하기

웹이나 앱에서 A/B 테스트를 해본 적이 있다면, 표준편차는 결과를 해석하는 핵심 도구다.

A/B 테스트란 사용자를 두 그룹으로 나눠서 어떤 버전이 더 나은지 비교하는 실험이다. 예를 들어 버튼 색상을 파란색에서 빨간색으로 바꾸면 클릭률이 올라가는가 같은 질문에 답할 때 쓰인다.

흔히 하는 실수가 평균 클릭률만 비교하는 것이다.

버전 A (파란 버튼): 평균 클릭률 5.2% 버전 B (빨간 버튼): 평균 클릭률 5.5%

빨간 버튼이 0.3%p 더 높다. 빨간색이 낫다고 바로 결론 내리고 싶은 유혹이 생긴다. 그러나 표준편차를 보면 이야기가 달라질 수 있다.

버전 A: 표준편차 0.2%p 버전 B: 표준편차 2.0%p

버전 A의 클릭률은 거의 모든 사용자가 5.0~5.4% 사이로 안정적이다. 반면 버전 B는 어떤 사용자에겐 3%, 어떤 사용자에겐 8%로 편차가 크다. 평균 5.5%라는 숫자 뒤에는 들쭉날쭉한 사용자 경험이 숨어 있을 수 있다.

평균 차이가 표준편차보다 훨씬 작으면, 그 차이는 우연에 가까울 수 있다. A/B 테스트 결과를 해석할 때는 평균과 표준편차를 항상 함께 봐야 한다.

품질 관리에서의 활용

제조업이나 품질 관리 분야에서는 표준편차가 오랫동안 핵심 지표로 쓰여왔다.

예를 들어 병에 음료를 담는 공장이 있다고 해보자. 목표는 병당 500ml다.

목표: 평균 500ml, 표준편차 5ml

이 경우 약 95%의 병이 490~510ml 사이에 들어간다. ±10ml 이상 벗어난 병은 약 0.3%로, 거의 발생하지 않는다. 이 정도 표준편차라면 품질이 안정적이라고 본다.

만약 표준편차가 20ml로 커지면, 약 5%의 병이 460~540ml로 목표 범위를 벗어난다. 품질이 불안정해졌다는 신호다.

이처럼 표준편차는 평균이 얼마나 일관되게 유지되고 있는가를 나타내는 지표로, 품질 관리뿐 아니라 디자인 시스템의 일관성 측정, 작업 프로세스의 안정성 평가 등 다양한 곳에 응용된다.

표준편차의 한계

표준편차는 강력한 도구지만, 만능은 아니다. 표준편차를 무작정 적용하면 잘못된 결론에 이를 수 있다. 어떤 경우에 주의해야 하는지 살펴보자.

비대칭 분포에서 왜곡

표준편차와 68-95-99.7 규칙은 데이터가 좌우 대칭에 가까운 정규분포일 때 가장 잘 작동한다. 한쪽으로 치우친 분포에서는 이야기가 달라진다.

흔한 예로 소득 분포가 있다.

가구 소득 평균 6,000만 원, 표준편차 4,000만 원

평균 ± 1σ로 계산하면 약 68%의 가구가 2,000만 원~1억 원 사이에 있다고 말할 수 있을까? 사실 그렇지 않다.

소득 분포는 보통 오른쪽으로 길게 꼬리를 끄는 형태다. 대부분의 가구는 평균보다 적은 쪽에 몰려 있고, 아주 일부의 고소득 가구가 평균을 끌어올린다. 이런 분포에서는 평균과 표준편차가 전형적인 가구를 잘 대표하지 못한다.

이런 경우 평균 ± 1σ라는 표현은 거의 의미가 없어지고, 대신 중앙값과 사분위수를 쓰는 것이 더 정확하다.

극단값에 민감

표준편차는 극단값에 크게 반응한다. 이 점이 때로는 약점이 된다.

앞에서 든 A 식당 예시로 돌아가 보자. 손님 대부분은 11~19분 사이에 들어오는데, 한 손님이 우연히 60분을 기다렸다면:

• 이 한 명의 데이터가 평균을 15 → 16.7로 끌어올린다.
• 분산과 표준편차도 크게 증가한다.
• 결과적으로 A 식당은 보통 11~19분이라고 더 이상 말할 수 없게 된다.

극단값이 본래 데이터의 일부라면 문제가 안 된다. 하지만 측정 오류나 데이터 입력 실수라면 어떨까? 평균과 표준편차가 모두 오염되어 분석 결과를 왜곡한다.

이런 경우 표준편차 대신 중앙값과 사분위 범위를 쓰는 것이 견고하다.

표준편차가 잘 안 맞는 경우

표준편차가 잘 안 맞는 상황과 그 대안을 간단히 정리하겠다.

• 극단값이 많거나 비대칭인 분포: 중앙값 + 사분위 범위
• 이상치 감지가 중요한 경우: 중앙값 절대 편차
• 데이터가 범주형이거나 순서만 있는 경우: 표준편차 자체가 의미 없음

비전공자에게는 일단 데이터가 정규분포에 가까울 때는 표준편차, 아니면 중앙값과 사분위 범위라는 원칙만 기억하면 충분하다.

마무리

이 글에서 다룬 내용을 한 문장으로 요약하면 이렇다.

표준편차는 평균을 중심으로 데이터가 얼마나 흩어져 있는지를 나타내는 지표이며, 정규분포를 가정할 때 ±1σ에 약 68%, ±2σ에 약 95%, ±3σ에 약 99.7%의 데이터가 들어간다.

이 문장만 기억해도 실무에서 표준편차를 해석하는 데 큰 무리가 없다.

표준편차를 알면 자연스럽게 다음 개념들이 따라온다.

• z-score, 즉 표준 점수. 개별 데이터가 평균에서 표준편차 몇 개만큼 떨어져 있는지. 이 학생은 평균보다 1.5σ 위 같은 표현으로 쓰인다.
• 신뢰구간. 표본 평균의 불확실성을 ±1.96σ 등으로 표현. 이 평균은 95% 신뢰구간에서 X~Y 사이에 있다는 식의 보고서 표현이 모두 여기서 나온다.
• t-분포. 표본 크기가 작을 때 표준편차의 불확실성을 보정하는 도구. 표본에 기반한 추론의 출발점이다.

이 주제들은 표준편차를 데이터를 요약하는 도구에서 데이터로 추론하는 도구로 확장해 준다. 별도 글로 다루겠다.