통계, 기본 개념을 정리해보자.

이 포스트에서는 유의수준과 p-value(유의확률)이 무엇인지, 그 전에 귀무가설과 대립가설, 1종오류와 2종오류가 무엇인지 등을 정리한다.

귀무가설과 대립가설

귀무가설과 대립가설의 예를 들어보자. 내가 얻고자 하는 결론은 다음과 같다.

20대 남자들의 키와 30대 남자들의 키가 다르다.

이 결론을 얻기 위해서 20대 남자 30명과 30대 남자 30명을 대상으로 키를 측정했다. 자 여기서 기술 통계(descriptive statistics)와 추론 통계(inferential statistics)의 차이가 나온다. 우리가 표본으로 모은 총 60명(20대 30명, 30대 30명)의 키는 물론 다를 것이다. 이 경우에는 그냥 두 집단의 평균값을 계산해버리면 차이를 간단히 알 수 있다. 이것이 기술통계이다. 하지만 우리가 알고 싶은 것은 모집단, 그러니까 20대 남자 전체와 30대 남자 전체의 키가 다른가 하는 것이다. 이러면 표본을 갖고 추론을 할 수밖에 없다. 추론 통계가 필요한 것이다. 추론 통계는 보통 어떠한 가설을 세우고 그 가설을 입증하는 방법으로 이루어진다. 이때 처음 세운 가설을 귀무가설(null hypothesis)이라고 하고, 그와 반대되는 실험자가 입증해야 하는 가설을 대립가설이라 한다.

귀무가설: 20대 남자들과 30대 남자들의 키가 같을 것이다.

대립가설: 20대 남자들과 30대 남자들의 키가 다를 것이다.

이제 실험자가 해야 하는 것은 추론 통계를 통해 귀무가설을 기각하는 것이다. 귀무가설을 기각할 수 있느냐 없느냐에 따라서 실험의 결과가 통계적으로 유의한가 아닌가가 나뉜다.

무죄추정의 원칙과 비슷하다.

피고인이 범인이라는 가설을 입증하기 위해서는 처음에 피고인은 범인이 아니다라는 귀무가설을 세우고, 그 귀무가설을 기각할 수 있는 피고인은 범인이다를 입증할 자료를 모으는 것이다.

1종 오류와 2종 오류

여기서 1종오류와 2종오류가 생긴다. 귀무가설을 기각해야 하는 실험자의 입장에서 범할 수 있는 두 가지 오류이다. 간단히 정리하면 다음과 같다.

1종오류: 귀무가설이 참인데 기각한 경우.

2종오류: 귀무가설이 거짓인데 기각하지 않은 경우.

1종 오류는 귀무가설이 참인데 이를 잘못하여 기각한 경우이다. 죄가 없는 피고인을 죄가 있다고 말한 경우와 같다. 2종 오류는 귀무가설이 거짓인데 이를 기각하지 않은 경우이다. 죄가 있는 범인을 죄가 없다고 말한 경우이다. 재판처럼 1종 오류의 대가가 큰 자리에서는 1종 오류를 더 심각하게 다룬다. 범인이 아닌 사람이 30년간 옥살이를 해야 한다고 생각해보면 간단하다. 범인을 범인이 아니라고 한 경우에는 다시 잡아들이면 되지만, 범인이 아닌 사람을 범인이라고 한 경우에는 어떻게 할 방법이 없다.

유의수준(significance level)

유의수준은 1종 오류를 범할 수 있는 최대 허용 한계이다.

유의수준을 0.05(5%)로 정했다면, 귀무가설이 참인데도 100번 중 5번까지는 기각해 버리는 것을 받아들이겠다는 말이다. 유의 수준은 보통 α(알파)로 표기한다. 많은 분야에서 유의수준을 0.05(5%)로 잡는다. 0.05가 5%인 이유는 확률에 100을 곱해 백분율로 옮기기 때문이다. 0.05를 쓰는 데 특별한 수학적 근거가 있는 것은 아니고, 관행으로 굳은 값이다. 물론 잘못 기각하는 것을 더 엄격히 막아야 하는 실험에서는 0.01(1%)로 정하기도 한다. 덜 엄격해도 되는 실험에서는 0.1(10%)로 정하기도 한다.

유의확률(p-value)

p-value는 귀무가설이 참이라고 가정할 때, 지금 관측된 데이터만큼 극단적이거나 더 극단적인 데이터가 나올 확률이다.

p-value가 0.05(5%)라는 말은 귀무가설이 참이라면 지금 같은 결과가 100번 중 5번은 우연히 나온다는 말이다. 당연히 p-value는 확률이기 때문에 아래 범위 안에 있다.

p값은 확률, 즉 0≤p-value≤1 이다.

보통 p-value 값이 유의 수준보다 낮다면 실험이 통계적으로 유의미하게 이루어졌다고 말한다. 위에서 유의 수준을 0.05(5%)로 잡는다 하였다. 그러면 0.05보다 p-value가 작으면 된다. 이것이 그렇게 p-value를 0.05보다 낮게 맞추고 싶은 이유이다.

p-value 값이 낮다고 귀무가설을 더 강하게 기각할 수 있는 것은 아니다. 더 작은 유의수준에서도 기각할 수 있다는 뜻일 뿐이지, 귀무가설은 유의수준보다 p값이 낮다면 똑같이 기각할 수 있다. 실험의 신뢰도는 올라가겠지만 귀무가설을 더 강하게 기각하는 것은 아니라는 말이다.