최근에 실험효과 분석하는 방법으로 공변량분석이나 이원분산분석을 사용하는데 두 분석의 차이를 조금 설명할까 합니다. 이론적으로 설명하는 것이 아니라 실제 논문 분석 작업할 때 필요한 차이점을 설명할까 합니다.
통상 사회과학 논문은 SPSS를 많이 사용하죠. 그래서 SPSS 사용시 차이점을 설명하겠습니다.
공변량이나 이원분산분석이나 모두 SPSS에서 같은 메뉴를 사용합니다.
일반선형모형==>일변량==> 공변량의 경우 고정요인에는 집단, 공변량에는 사전점수
==> 이원분산분석의 경우 고정요인에 집단과 시간(사전-사후)
을 지정하면 됩니다.
단 데이터 형태가 달라집니다.
공변량 분석에는 사전 점수 데이터와 사후점수 데이터가 옆으로 늘어지게 만듭니다. 사람 순서는 일치해야 하고요.
이원분산분석은 사전 점수 데이터와 사후점수 데이터가 밑으로 늘어지게 해야 합니다. 아래 표를 보죠.
통제집단과 실험집단의 수가 각각 20이라 하죠.
| case | 공변량 데이타 |
이원분산분석 데이타 |
|||||||
| 시간 | ㅈ집단 | 사전점수 | 시간 | 집단 | 사후점수 | ㅅ시간 | 집단 | 점수 | |
| 1 | 0 | 0 | 1 | 0 | 0 | 0 | |||
| 2 | 0 | 0 | 1 | 0 | 0 | 0 | |||
| ... | 0 | 1 | 1 | 1 | 0 | 1 | |||
| 20 | 0 | 1 | 1 | 1 | 0 | 1 | |||
| 21 | 1 | 0 | |||||||
| 22 | 1 | 0 | |||||||
| ... | 1 | 1 | |||||||
| 40 | 1 | 1 |
즉, 공변량 분석용 데이터는 사전 데이터와 사후 데이터를 옆으로 쭉 늘립니다.
이원분산분석은 밑으로 쭉 늘립니다.
단지 여기서 두 이론의 문제점이 있습니다.
이원분산분석의 경우 동일한 사람에게 사전-사후 점수의 데이터를 가지고 있는데 동일한 사람 데이터라는 정보를 무시합니다. 이건 짝 t 검증을 해야 하는데 그냥 t 검증을 한 것이라 비슷합니다.
한편 공변량 분석은 회귀분석의 이론적 모형은
사후점수=b0+b1*사전점수+b2*집단
이렇게 되는데 곰곰이 생각해 보면 이 회귀분석 수학적 모형이 좀 안 맞는 것 같다는 생각이 듭니다. 조만간에 이론책을 한번 찾아 봐야 할 것 같은데요. 지금 생각에 맞는 모형은 조절효과 검증에 많이 쓰는 Baron & Kenny(1986)의 위계적 회귀분석의 3단계 모형이 맞지 않을가 하는 생각이 듭니다. 이 모형의 수학적 표현은
사후점수=b0+b1*사전점수+b2*집단+b3*(집단*사전점수)
=b0+(b1+b3)*사전점수+b2*집단
이렇게 됩니다.
우리나라에서는 기계적으로 위의 간단한 모형을 사용하니까 교수가 특별히 요구하지 않으면 위의 간단한 모형을 적용해서 논문을 써야 합니다. 교수가 이해 못하는 어려운 것하면 더 골치 아픈 일이 생깁니다.
통계학과에서는 공변량 분석 이런 것 자세히 안 다룹니다. 통계학 입장에서는 그냥 다 똑같은 회귀분석에 불과하고 둘 다 분산분석에서 유의성 검증하는 것이거든요. 정확하게 알려면 실험효과 검증시 최근 외국저널논문에서 어떻게 다루는지 확인을 해 봐야 하는데 뭐 제가 그럴 시간까지 있는 것은 아니고요.
혹시 여기에 대해 아시는 분이 있으면 밑에 댓글에서 관련 논문을 언급해주시기 바랍니다.
하여간 우리가 알아야 할 것은
1) SPSS 메뉴에서 같은 메뉴를 사용한다는 것이고요
2) 데이터 배치하는 모양이 다르다는 것입니다.
그럼 논문에서는 둘다 밑의 표2개와 그림 1개만 제시하면 끝입니다.
단지 분산분석표에서 모양이 조금 다르고 공변량 분석에서는 ‘집단’의 유의성을 보고
이원분산분석에서는 상호작용항, 즉, (시간*집단)의 유의성을 보고 실험의 효과가 있는지 없는지 판단하면 됩니다.
논문에서 먼저 사전-사후 실험집단과 통제집단의 기술통계(평균과 표준편차)의 표를 먼저 제시하고 실험집단과 통제집단시 사전-사후 평균값이 변화가 어떻게 되는지 그림으로 제시하면 됩니다.
그러나 여기까지는 우리가 감으로 실험의 어느 정도 효과가 있겠다 이런 정도이지 정확하게 이 실험의 효과가 유의적인지를 판단할 수 없습니다. 그래서 마지막으로 분산분석표를 제시를 해야 합니다.
여기서 분산분석표만 제시를 하면 안됩니다. 분산분석표에서 유의성은 그냥 실험의 효과가 있다는 것만 말하지 이 실험효과가 긍정적인지 아니면 부정적인지 이런 것까지 이야기를 하지는 않습니다. 그래서 앞의 기술통계와 그림이 필요합니다.
여기서 공변량 분석시 주의할 부분이 있습니다.
이원분산분석을 하면 이원분산분석 메뉴에서 다 처리가 됩니다. 표 2개, 그림 1개 바로 다 나옵니다.
그러나 공변량 분석에서는 앞의 기술통계와 그림은 구할 수가 없습니다. 즉 앞이 기술통계와 그림을 구하려면 이원분산분석용 데이터를 따로 다시 만들어 이원분산분석을 돌려야 합니다. 단지 공변량 분석에서는 공변량 분석용 분산분석표을 얻기 위해서입니다.
사전 사후 평균 변화
| 집단 | 표본 수 | 사전 | 사후 | ||
| 평균 | 표준편차 | 평균 | 표준편차 | ||
| 통제집단 | |||||
| 실험집단 |
빨간색 칠한 부분의 유의성을 보면 됩니다. 즉 F 값의 p 값을 보면 됩니다.
1) 공변량 분석의 분산분석표
| 소스 | 제곱합 | 자유도 | 평균제곱 | F값 |
| 사전점수 | ||||
| 집단 | ||||
| 오차 |
* p<.05, ** p<.01, *** p<.001
2) 이원분산분석의 분산분석표
| 소스 | 제곱합 | 자유도 | 평균제곱 | F값 |
| 시간 | ||||
| 집단 | ||||
| 상호작용항(시간*집단) | ||||
| 오차 |
* p<.05, ** p<.01, *** p<.001