사전 동질성 검사, 사후 실험효과 검증

 

사전 동질성 검사와 사후 실험효과 검증은 너무 뻔한 것이라 간단히 쓰겠습니다. 그리고 이건 표를 간단히 하면 2개 표로 끝날 수 있습니다. 그래서 너무 간단하게 때문에 표를 잘라 질질 늘기도 하지만 간혹 성별 등 세부적으로 분석을 해서 표를 늘리게 할 수 있습니다. 그래서 실험을 하기 전에 성별 등 기본적인 개인 특성 항목도 몇 개 넣는 것이 낫습니다.

 

그리고 간혹 유의적인 실험효과 결과를 내기 위해서 실험집단과 통제집단을 선별해서 하시는 분이 계신데 이건 별 도움이 안됩니다. 가능하면 통제집단을 실험집단과 유사한 집단으로 선택하셔야 합니다.  

 

 

0. 데이타

 

아래는 새로운 수업 방법이 학생의 수학과 영어 점수에 미치는 효과를 검증한다는 가정하고 가설적인 데이터입니다. 집단은 실험집단=1, 통제집단=0으로 하는 것이 좋습니다.  집단을 어떻게 코딩해도 관계없지만 나중에 공변량 분석시 이게 좋습니다. 

 

id(또는 학생들 이름)	사전		사후		집단
	수학	영어	수학	영어
개똥이	56	64	70	71	0
철순이	37	48	51	53	0
.					0
					..
					1
					1
					1

 

 

주의할 점은 사전, 사후 점수가 학생 개인별로 순서가 일치되어야 합니다. 사전 동질성 검사가 통과되지 않으면 공변량 분석을 해야 하는데 이 경우 순서가 일치가 안되면 공변량 분석을 할 수 없습니다.

 

그래서 앞의 사전의 수학, 영어점수별로 집단별로 차이가 있는지 없는지 t 검증하고 여기서 유의적인 차이가 없으면, 즉 p 값이 0.05 이상, 실험집단과 통제집단이 동질적으로 판단되면 그 다음은 사후 수학, 영어 점수별로 집단별 차이가 있는지 없는지 t 검증하시면 됩니다. 사후 점수에서 유의적인 차이가 있으면 실험의 유의적인 효과가 있는 것으로 판단합니다.

 

 

통계 분석은 여기서 끝나고요.

 

의문은

 

 

 

1. 왜 실험집단과 통제집단으로 나누는가?

 

이건 실험기간내에 외부적인 어떤 요인이 작용할 수 있다는 것이죠. 예를 들면 실험기간 동안 교육철학이 완전히 다른 교장선생님이 왔다면 만약 실험효과가 있었다고 해도 이게 새로운 수업방법때문인지, 아니면 새로운 교장선생님 때문인지 알 수가 없다는 것이죠. 이런 외부 요인을 배제하기 위해서 실험집단과 통제집단을 설정해서 실험을 하다는 것이죠.

 

이런 건 정책의 효과, 경제적 효과를 이야기할 때 많이 나타나는 현상입니다. 정책의 효과나 경제적 효과가 실제 어떤 경제적 정책에 의해 나타난 효과가 아닌 다른 원인에 의해서 나타난 효과일 수 있다는 것이죠. 그래서 판단이 쉽지 않죠. 예를 들면 도시가 오래되면 사람들이 도시외곽이나 주변 신도시로 나갑니다. 도시 안은 슬럼화되는 현상이 일어나고요. 그럼 주변 신도시는 아파트가 생기고, 사람들이 이주해오니 그쪽 지역의 경제성장율은 급상승합니다. 서울주변의 신도시가 전형적인 예죠. 그래서 한때 경기도의 경제성장율이 급성장할 때가 있었습니다. 이건 정치가가 정책을 잘해서 그런 것이 아니고 대부분 대도시 주변에서는 흔히 일어나는 현상입니다.

 

 

 

 

 

2. 사전 동질성 검사를 왜 하는가?

 

왜 사전 동질성 검사를 하는지는 당연한 것이죠. 100m 달리기 할 때 결승전에서만 판단하면 안되죠. 출발선에서 먼저 뛰어 나가는 사람이 없는지 확인을 해야죠. 먼저 뛰어 나가는 사람이 있는지 없는디 확인하는 것이 사전 동질성 검사입니다.

 

 

 

 

 

3. 문제점

 

사전 동질성은 차이가 있는지 보는 것이 아니고 차이가 없는지 보는 것이기 때문에 p>0.05를 만족시켜야 합니다. 그러나 0.05< p <0.2 정도이면 사실상 두 집단이 차이가 있을 가능성이 많습니다. 이렇게 p 값이 0.05보다 크지만 그리 크지 않으면 사후에 실험집단과 통제집단의 차이를 검증해서 실험의 효과가 있다고 이야기하는 것은 그리 바람직한 것 같지 않습니다.

 

따라서 사전부터 그 차이를 고려해서 분석하는 것이 더 바람직한 것 같고요. 마치 육상 트랙 경기시 외곽에서 뛰는 사람은 출발선에서 이익을 주고 안에서 뛰는 사람은 상대적으로 불이익을 주는 것 처럼요.

 

 

 

 

4. 공변량

 

사전의 차이를 고려해서 분석하는 것이 공변량인데 생각보다 간단합니다. 우리가 통계학적으로 안하고 상식적으로 한다고 생각하면

 

a=실험집단 사후점수-사전점수

 

b=통제집단 사후점수-사전점수

 

이렇게 실험집단, 통제집단 간의 차이 점수를 구한 다음 이 차이를 t 검증하면 될 겁니다.

옛날에, 또는 요새도 통계기법을 크게 요구하지 않은 학과에서는 이런 방법을 씁니다.

 

이 방법이 가장 원초적인 공변량 분석입니다.

 

공변량 분석을 특별하게 생각하시는 분들이 있는데 이것도 기본적으로 회귀분석입니다. 공변량분석할 때 SPSS에서 모수추정을 선택하면 회귀계수를 알아서 구해줍니다. 고정요인(fixed factor)을 일일이 더미변수화 할 필요가 없습니다. SPSS 내부에서 알아서 해줍니다.

 

확률요인(random factor)는 제가 확신을 할 수 없네요. 이건 기본적으로 이론이 다른 것이라서. 옛날에 여기까지는 공부를 안해서요. 하여간 랜덤효과까지 분석해달라는 의뢰는 지금까지 한번도 들어오지 않아서 고민한 적은 없습니다. 랜덤효과는 실제로 실험실에서는 부딪치는 문제인데 실험실 현장에서 얼마나 고민하는지 모르겠네요. 이건 실험 디자인(experimental design) 책을 보셔야 합니다. 요새 6 시그마 때문에 사람들이 좀 찾는 모양인데요.

 

하여간 공변량 분석의 기본 이론에 대해 여기나 아니면 통계노트에 한번 쓰겠습니다.