이원분산분석시 주의점

통상 실험의 효과를 검증하기 위해서는 먼저 실험집단과 통제집단을 선정한 다음 실험집단만 프로그램을 작동시키고 통제집단은 아무것도 하지 않습니다.

 

그래서 사전에 실험집단과 통제집단의 사전 점수를 측정하고 프로그램이 끝난 후 다시 한번 실험집단과 통제집단의 사후 점수를 측정합니다.

만약 청소년의 폭력을 줄일 수 있다고 주장하는 어떤 프로그램이 있다고 하죠. 제 생각에는 동물 키우기나 동물농장같은 방송을 시청하는 것도 청소년 폭력을 줄이는데 매우 좋을 것 같다는 생각이 듭니다.

그럼 실험집단 50명, 통제집단 50명을 선정한 다음 사전에 두 집단에서 폭력성을 측정하고 실험집단만 동물을 키우게 한 다음 몇 달 후에 다시 두 집단의 폭력성을 측정한다는 것이죠.

 

이 경우 어떻게 프로그램의 효과를 검증할 수 있을까요. 앞에서 여러번 이야기했지만 사전동질성-사후 차이 t 검증이나 공변량분석, 이원분산분석 등을 사용할 수 있습니다.

문제는 사후 측정을 한번만 하지 않고 두 번, 세 번 측정을 하는 경우 어떻게 할 수 있을까요.

 

원칙적으로 이원분산분석(Two-way ANOVA)를 해야 합니다. 이원분산분석을 실시한 다음 분산분석표(ANOVA table)에 있는 time*group이라는 줄의 p 값을 보고 판단을 합니다. 이걸 상호작용효과라고 하는데 이 p 값이 0.05보다 작으면 프로그램이 효과적이라하고 0.05보다 크면 프로그램의 효과가 없다고 판단합니다.

 

먼저 실험효과가 있는 경우를 한번 보죠.

 

표는 실제 2개의 표를 하나로 붙힌 것입니다. 왼쪽은 실험집단과 통제집단의 사전, 사후 1차, 사후 2차의 평균과 표준편차 등 기술통계를 정리한 표이고 오른쪽은 분산분석표를 간략하게 적은 것입니다.

 

오른쪽 맨 아래 time*group 을 상호작용항이라 하고 맨 오른쪽 p 값이 0.05보다 작으면 유의적인 상호작용효과(interaction effect)가 있다, 또는 프로그램의 효과가 유의적이라 판단합니다. 이 경우 0.003이라서 프로그램의 효과가 유의적이라고 판단을 하죠.

 

이에 반해 위의 group, time 줄은 주효과(main effect)를 보는 것입니다. 실험효과가 보는 분석에서는 특별히 의미를 부여할 필요가 없습니다.

 

 

아래 그림을 보면 실험군은 사후1차에 굉장히 상승하다가 사후2차에 약간 하락하죠. 이에 반해 대조군은 지속적으로 하락하죠.

 

즉 상호작용효과를 보는 것은, 프로그램의 효과를 보는 것은 실험군과 대조군의 직선의 흐름을 보는 것입니다. 값의 높낮이를 보는 것이 아니고요. 이 두 직선의 흐름이 뚜렷하게 차이가 나면 프로그램의 효과가 있다고 보고, 이 두직선의 흐름이 뚜렷하게 차이가 나지 않으면 프로그램의 효과가 없다고 보는 것이죠.

 

다음은 프로그램의 효과가 없다고 판단한 경우를 보죠.

 

 

 

time*group의 p 값을 보면 0.696으로 0.05보다 훨씬 크기 때문에 이 경우는 상호작용효과, 프로그램의 효과가 없다고 판단합니다. 아래 그림을 보면 사후1차에서 실험군은 대조군에 비해 크게 상승하고 사후 2차에서는 크게 하락하기 때문에 이것도 두 집단의 직선의 흐름이 상당히 다르다고 볼 수 있습니다. 즉 효과가 있다고 볼 수도 있다는 것입니다. 물론 실험집단이나 통제집단 모두 사후1차에서는 상승하고 사후 2차에서는 하락하는 경향성은 비슷합니다. 하여간 통계학에서 유의적이라고 하는 경우는 그 차이가 매우 뚜렷해야 유의적이라고 봅니다.

 

그래서 실제 데이터 분석을 해서 그림상으로만 보면 이 정도는 실험의 효과가 있다고 볼 수 있는데 통계분석에서는 유의하지 않다고 나오는 경우가 많습니다. 그래서 너무 당황하지 마시고요.

그럼 이렇게 이원분산분석을 해서 프로그램의 효과를 검증했는데 아무런 문제가 없는 것일까요.

 

가장 심각한 문제는 이것입니다. 상호작용항을 보고 프로그램이 효과가 있다고 했는데 이게 긍정적인 효과인지 부정적인 효과인지는 아무도 모릅니다. 다음과 같은 애매모호한 상황도 생길 수가 있습니다.

 

 

즉, 실험집단은 사후1차에서 대폭상승하다가 사후2차에서 다시 대폭하락하는 반면 통제집단은 사후1차에서 대폭하락하다가 사후2차에서 다시 대폭 상승하는 경우도 있다는 것이죠. 두 집단의 직선의 흐름은 완전히 다르기 때문에 분산분석하면 상호작용항 time*group는 당연히 유의적으로 나오죠. 그러나 이 경우 프로그램의 효과가 있다고 말 할 수 있을까요?

그래서 분산분석표를 보면 유의적으로 나왔다고 하면 이 경우 표의 옆에 있는 기술통계의 평균의 흐름을 꼭 언급을 해야 합니다. 실험집단의 사전, 사후1차, 사후2차 평균과 통제집단의 사전, 사후1차, 사후2차의 평균의 흐름을 언급한 후 프로그램 효과가 긍정적으로, 또는 부정적으로 나왔다고 이야기를 해야 한다는 것이죠.

 

하여간 이원분산분석은 사전의 두 집단이 동질하지 않아도 됩니다. 사전의 두 집단의 점수 차이는 분석에서 자동적으로 고려됩니다. 앞에서 이야기했지만 두 집단의 직선의 흐름이 중요하지 사전, 사후1차, 사후2차 평균 값의 높낮이가 중요한 것이 아닙니다.

그럼 이원분산분석을 하지 말고 다른 방법이 있을까요.

 

1) 하나는 사전동질성 검사를 하고 사전동질성 검사가 통과되면 사후1차, 사후2차에 대해 각각 독립적으로 사후 차이를 보는 t 검증을 하는 방법이 있습니다.

 

2) 두 번째는 사전동질성 검사가 통과하지 않거나 애초에 두 집단의 사전 점수를 차이를 고려해서 공변량분석(ANCOVA)을 하는 방법도 있습니다. 사전 점수를 통제변수로 놓고, 사후1차 점수와 사후2차 점수를 각각 종속변수를 해서 2번의 공변량분석을 하면 됩니다. 사후1차와 사후2차간의 변화를 보려면 사후1차 점수를 통제변수로 하고 사후2차를 종속변수로 한 공변량분석을 하시면 됩니다.