실험효과 분석방법 정리

실험효과 통계 분석은 크게 3가지 방법이 있습니다. 이걸 다시 한번 정리해 보겠습니다.

 

 

1. 사전 사후 t 검증하는 방법

 

2. 공변량 분석(ANCOVA)

 

3. 이원분산분석(Two-way ANOVA)

 

이 3가지 방법입니다. 이때 주의사항은

 

1) 실험효과 통계분석을 의뢰할 경우 학과에서 선호하는 방법을 알려주셔야 합니다. 만약 지도교수나 예심때 다른 방법으로 하라고 하면 통계 분석한 것 전부 다 갈아야 합니다. 단순한 추가분석이나 수정의 문제가 아니라는 것이죠. 최근 학과에서 통과된 실험효과 논문을 잘 보시고 학과에서 어떤 방법은 선호하는지 알아보는 것이 중요합니다.

 

2) 데이터는 사전실험집단, 사후실험집단, 사전통제집단, 사후통제집단 이렇게 4개로 나눠서 보내주시는 것이 가장 좋습니다. 이렇게 보내주면 분석하는 사람이 자유로이 통계방법론에 맞게 데이터를 만들 수 있습니다. 이때 실험집단이나 통제집단 모두 사전, 사후 실험참가자 순서를 맞춰서 보내 주셔야 합니다.

 

3) 실험집단만 측정하시면 안됩니다. 실험효과를 검증하려면 통제집단이 있어야 합니다. 통제집단은 그냥 아무것도 안하고 실험전, 실험후 측정만 하는 집단을 말합니다.

 

통제집단을 만드는 이유는 다음과 같습니다. 예를 들어 청소년 폭력을 줄일 수 있는 특별한 방법을 검증하려고 합니다. 그래서 새로운 방법을 처지를 했는데 실험 중간에 교장 선생님이 바뀌었다고 해보죠. 단순히 실험집단만 측정하면 폭력이 줄어도 이게 새로운 방법에 의한 효과인지 교장선생님이 바뀌어서 일어난 효과인지 구별을 할 수 없습니다. 그래서 통제집단을 만드는 것입니다. 통제집단은 새로운 방법론을 적용하지 않았지만 교장선생님 바뀐 효과는 받는 집단이거든요. 그래서

 

실험집단=(새로운 방법 효과, 교장 바뀐 효과)

통제집단=(교장 바뀐 효과)

 

이렇게 적용이 되어서 이 2가지 효과를 분리하는 것이 가능하게 됩니다.

 

 

 

1. 1번 사전 사후 t 검증하는 방법

 

이 방법은 가장 오래된 방법인데 최근에는 잘 안쓰는 방법입니다. 통계분석이 좀 약한 학교나 학과에서는 종종 이 방법으로 하라고는 합니다.

 

하는 방법은 간단합니다. 실험집단과 통제집단간에 사전 동질성 검사를 하고 그리고 실험 후에는 실험집단과 통제집단간에 유의적인 차이가 있는지 검증하는 것입니다. 사전 동질성 검사는 사후 차이 검증 모두 t 검증으로 하면 됩니다.

 

이 방법의 아이디어는 100m 달리기를 생각하시면 됩니다. 출발점에서 동시에 출발하는지 검사를 하죠. 즉 이게 사전 동질성 검사입니다. 동시에 출발했다면 결승점에서 누가 먼저 들어왔는지 이것만 보면 되죠. 이게 사후 차이 검증입니다.

 

이 방법의 문제점은 뭘까요.

 

1) 만약 몇 개의 변수에서 사전 동질성이 통과하지 못하면 이 경우는 어떻게 해야 하나요. 다시 실험을 해야 할까요. 그렇지 않습니다. 만약 몇 개의 변수에서 동질성이 확보가 되지 못하면 이 변수들에 대해서만 2번 공변량 분석이나 3번 이원분산분석을 하시면 됩니다.

 

2) 표가 너무 간단해집니다. 사전동질성 검사표와 사후 차이 검증표 단 2개면 끝납니다. 그래서 쓰는 편법이 각 변수별로 분석을 하는 것입니다. 변수별로 간단하게 사전, 사후 검사, 그리고 사전 사후 집단별 값이 변하는 그림을 하나 집어 넣는 것입니다. 만약 실험효과를 봐야 하는 변수가 10개라면 표가 10개나 더 늘리면 20개 까지 만들 수 있고 그림도 10개 들어가는 것이죠.

 

3) 이론적으로 제일 심각한 문제가 아슬아슬하게 사전 동질성을 통과하는 것이죠. 통상 사회과학분야에서 사전 동질성이 통과하려면 t 검증에서 p 값이 0.05보다 커야 합니다. 그러면 사전 동질성을 해보니까 p 값이 0.053, 또는 0.061 이렇게 아슬아슬하게 0.05보다 크게 나오면 이건 현실에서는 사실상 실험집단과 통제집단간에 차이가 있다는 것이거든요. 이렇게 사전에 차이가 있는 집단인데 이걸 사후 결과만 보고 실험효과가 있다 없다 이렇게 판단하는 것은 문제가 있다는 것이죠.

 

즉 100m 달리기에서 출발선에서 1m 정도 앞에서 출발하는 것은 동일선상에서 출발한 것으로 치자 이런식으로 약속을 한 것이라는 것이죠. 이런 경우 결승점에서 판정하는 것은 문제가 있죠.

 

이런 이유 때문에 최근에는 2번 공변량 분석이나 3번 이원분산분석을 쓰는 것입니다.

 

 

2. 공변량분석

 

SPSS에서는 공변량분석이라는 메뉴는 없습니다. 분석=>일반선형모형==>일변량을 선택하시면 됩니다.

 

거기서 종속변수는 사후측정값, 공변량에서는 사전측정값, 모수요인에서 실험집단-통제집단을 의미하는 더미변수를 선택하시면 됩니다.

 

그러면 분산분석표를 출력이 됩니다. 이 분산분석표에서 집단에서 유의적으로 나오면 이 경우 실험의 효과가 있는 것으로 해석합니다. 따라서 논문에서는 각 변수별로 실험,통제 집단의 사전, 사후 평균값을 보여주는 표, 그리고 분산분석표, 그리고 평균의 변화를 보여주는 그림을 넣으시면 됩니다.

 

단지 분산분석표에서는 두 집단간에 차이가 있다는 것만 보여주는 것이지 이게 실험의 효과가 긍정적으로 나온 것인지 아니면 부정적인 효과인지는 알 수 없습니다. 그래서 사전, 사후 평균의 변화가 어떻게 되는지 이걸 보고 긍정적 효과인지 아니면 부정적 효과인지 판단하시면 됩니다.

 

이 방법을 회귀분석식으로 나타내면

 

사후 측정변수=b0+b1*사전 측정변수+b1*집단+오차항

 

이렇게 됩니다.

 

따라서 연속변수와 범주형 변수가 동시에 들어가는 회귀분석식으로 이해하셔도 되고, 또는 집단인 인구통계 변인인 경우 집단을 통제변수로 넣고 사전 측정변수가 사후 측정변수에 미치는 영향을 분석하는 회귀분석식으로 보셔도 됩니다.

 

단지 공변량 분석에서는 사전 측정변수를 통제변수로 하고, 즉 사전 측정변수의 영향을 제거한 후 순수한 집단의 영향력을 보는 회귀분석식으로 이해하시면 됩니다. 그래서 각각 해석은 달리하지만 밑에 깔린 회귀분석식, 회귀이론은 다 똑같은 것입니다.

 

 

 

3. 이원분산분석

 

흔히 3개 범주 이상인 변수에 따라 차이가 있는지 검증하는 것은 일원분산분석이고요, 이원분산분석은 이 범주형 변수, 즉 요인이라고 하죠, 이게 2개인 경우입니다. 즉 종속변수는 연속형 변수, 즉 효과가 있는지 보려는 측정변수이고 독립변수가 2개의 요인, 즉 시간(사전-사후)과 집단(실험-통제)인 경우입니다.

 

이원분산분석을 할 경우 데이터 모양의 앞의 1번과 2번과 다른 모양을 합니다. 1번과 2번의 경우 사전, 사후 변수를 옆으로 늘리는 반면 이원분산분석의 경우 밑으로 늘리는 모양을 합니다. 예를 들어 이런 모양입니다.

 

 

변수1	변수2	변수3	변수4	시점	집단
34.3	27.2			0	0
44.1	20.8			0	0
38.2	19.2			0	1
.	.			.	1
.	.			.	.
.	.			1	0
.	.			1	0

여기서 시점 0은 사전, 시점 1은 사후, 집단 0은 통제집단, 집단 1은 실험집단으로 코딩된 것입니다. 이런 형태로 데이터를 만들어야 합니다.

 

 

이 경우도 일반선형모형==>일변량 하시면 됩니다.

 

단지 종속변수에는 측정변수, 모수요인에서 시점 더미변수와 실험집단, 통제집단을 나타내는 집단 더미 변수를 선택하시면 됩니다. 모형에서는 디폴트인 완전요인분석 그대로 하시고 도표에서 수평축은 시점, 선구분선은 집단으로 하시면 사전, 사후 집단별 평균의 변화를 보여주는 도표를 출력해줍니다.

 

즉 이 방법을 사용하면 그림은 SPSS에서 자동적으로 출력을 해줍니다. 그래서 따로 그림을 그릴 필요가 없습니다. 단지 이 그림은 이원분산분석 모형에서 추정된 평균을 그려줍니다. 그러나 실제 평균값과 그리 차이는 없으니까 이 그림을 논문에 사용하셔도 됩니다.

 

 

또 여기서도 분산분석표를 제시해주는데 이 경우 상호작용효과가 유의적인지 판단을 해야 합니다. 2번 공변량분석에서는 집단 항목에서 유의적인지 봐야 하지만 이 이원분산분석에서는 상호작용항에서 유의적인지 봐야 합니다.

 

만약 실험의 효과가 없으면 실험집단과 통제집단사이에서 사전 사후 평균의 변화가 별로 없습니다. 즉 직선의 기울기가 비슷합니다. 다음의 예입니다.

    

 

 

만약 실험의 효과가 있다면 직선의 기울기가 많이 달라집니다. 다음의 예입니다.

 

 

 

 

물론 앞의 공변량 분석과 마찬가지로 이 분산분석표만 봐서는 이 실험이 긍정적인지 부정적인지는 알 수 없습니다. 긍정적이든 부정적이든 유의적인 실험의 효과가 있다는 것을 보여주는 것에 불과합니다. 긍정적인지 부정적인지를 알려면 실제 평균 값의 변화를 보여줘야 합니다. 

사전 사후 2번만 측정하는 것이 아니고 여러번 측정하는 경우가 있습니다. 이런 경우 딱 떨어지게 분석하는 방법은 없습니다. 그래서 이런 경우 학과에서 최근에 통과된 논문을 보내 주시는 것이 좋습니다. 거기에 맞춰 분석하면 대부분 문제는 없습니다. 하여간 이 경우라도 밑에 있는 이론은 위 3가지 방법을 혼용해서 사용하는 것입니다.