실험계획(Experiment Design)은 용어는 좀 생소한데 흔히 하는 사전-사후, 실험집단-통제집단을 설정하여 실험(treatment)의 효과를 검증하는 방법입니다.
이 분야가 현실에서는 매우 중요함에도 불구하고 논문이나 아니면 학계에서 별 인기가 없는 분야입니다. 기본적으로 이론이 분산분석(ANOVA)이기 때문에 통계학 전공하는 사람도 별 관심이 없죠. 요새 같으면 통계 전공하는 학생은 다 인공지능 이런 것 하려고 하지 이런 분야 안 하거든요.
예를 들어 어떤 비료가 농작물 수확에 더 좋을까, 또는 어떤 토양에서 나무가 더 자랄까 이런 것을 실험한다고 해보죠.
그럼 농작물이 다 자라거나, 아니면 나무가 충분히 성숙할 때까지는 최소 1년에서 몇 년까지 걸립니다. 한번 실험 하는데 몇 년씩이나 걸리고 실험에 필요한 다양한 토양을 구하기가 쉽지 않다는 것이죠.
그래서 이런 어려운 여건에서 가능하면 효율적으로 실험을 할 수 있는 다양한 실험 방법들이 개발이 됩니다.
여기서는 논문 쓰는 것이 목적인까 가장 단순하고 많이 하는 사전-사후, 실험집단-통제집단의 실험계획에 대해 설명하겠습니다.
1. 왜 통제집단은 만드는가?
언론기사 주장이라든지 아니면 정치적 주장 같은 것을 보면 “전에는 이랬는데 그 동안 이렇게 했더니 현재 이렇게 변했다” 이런 것 가지고 논쟁을 많이 합니다.
예를 들어 “최저임금을 올려드니 망한 기업이 많았다. 또는 오히려 실업율이 올라가고 고용율이 떨어졌다” 이런 주장들을 많이 한다는 것이죠.
그러나 최저임금을 상승시킨 기간 동안 코로나 때문에, 아니며 세계 경제가 안 좋아서, 정치가 개판을 쳐서, 한국 경영자가 개판을 쳐서, 또는 원자재가 상승해서 등 다양한 일이 생겼다는 것이죠.
그래서 기업이 망한 이유가 최저임금 상승때문인지, 아니면 코로나 때문인지, 아니면 세계 경제가 안 좋아서, 정치나 한국 경영자가 개판을 쳐서, 또는 원자재가 상승해서 그런 것인지 아니면 여러 요인이 복합적으로 작용해서 그런 것인지 아무도 모른다는 것이죠.
이런 논란은 이런 사회적인 문제는 사전에 임의로 정교하게 실험을 할 수 없어서 정확한 원인을 찾아내기 힘들기 때문입니다.
그래서 미국에서 최저임금의 효과를 측정하기 위해서 최저임금이 상승한 주와 최저임금이 상승하지 않는 주를 서로 비교하는 방법을 쓰기 했습니다.
실험의 경우를 그림으로 설명하면 이렇습니다.
즉 통제집단은 실험효과는 없고, 다양한 외부 효과가 존재하고 실험집단은 실험효과와 다양한 외부효과가 존재하도록 해서 귀찮은 외부효과가 양 집단에 동시에 작동하도록 하는 것입니다.
따라서 실험의 효과를 검증하는데 있어 다양한 외부 효과는 서로 상쇄되기를 바라는 것입니다.
왜 귀찮게 통제집단을 만드는지 이해가 되었으며 다음은 실제 통계 분석 방법론으로 들어가겠습니다.
2. 흔히 많이 쓰는 통계 방법론
여기에는 주로 3가지 방법론을 사용합니다. 학과의 통계 수준이나 관행에 따라 달라지니까 학과에서 통과된 선행논문을 참조하시는 것이 바람직합니다. 의뢰하실 때도 학과 선행논문을 보내주는 것이 좋고요.
1) 사전동질성 검사와 사후 차이 검증
사전에서 실험집단과 통제집단이 동질하다는 t 검증을 하고요. 이 경우는 p값이 0.05보다 크게 나와야 합니다. 그런 다음 실험 후 사후에 실험집단과 통제집단에서 차이가 있다는 t 검증을 다시 실시합니다. 이 경우 p값이 0.05보다 작아야 합니다.
이 방법론은 아주 초기에 사용하든 방법론으로 권하고 쉽지 않습니다. 일단 사전 동질성 검사에서 p값이 0.06으로 나왔다고 하면 통계적으로 동질적이라 볼 수 있지만 현실 세계에서는 사실상 차이가 있다고 봐야 합니다.
따라서 사전에서 실험집단과 통제집단의 차이를 완전히 고려해줄 수 있는 방법론이 나옵니다. 이게 공변량 분석(ANCOVA)이고 이원분산분석(Two-way ANOVA)입니다.
흔히 사회과학에서 분산분석 대신 변량분석이라는 용어를 사용하는데 제발 좀 이런 짓은 자제했으면 합니다. 이미 기존 통계학에서 분산분석이라는 용어가 이미 확고하게 자리잡고 있고요. 또 변량이라는 용어는 확률변수의 의미가 강합니다. 차라리 변동분석이라고 하면 어느 정도 이해가 됩니다.
변동, 분산, 변량 다 용어의 개념이 다릅니다.
물론 이런 서구 학문의 용어가 일제시대의 영향으로 일본에서 사용하는 용어가 그대로 들어 온 측면이 있습니다.
우리가 다 아는 함수라는 말도 처음 듣는 사람은 전혀 이해를 못합니다. 오히려 관계식이 더 정확한 개념이죠. 그렇다고 해서 전혀 개념이 다른 용어로 대치하면 안되죠.
2) 공변량 분석
실험의 효과를 측정하는데 사전 측정값이 문제가 되니까 이 사전 측정값을 통제하기 위해서 공변량으로 넣는 방법입니다. 모형식은
Y=b0+b1*X+group+e
사후측정값=bo+ b1*사전측정값+ 집단효과(실험집단과 통제집단)+ 오차
입니다.
3) 이원분산분석
이 방법은 실험 집단과 통제 집단의 사전-사후 변화가 유의적인 변화인지 보는 방법입니다. 이 이원분산분석에서는 집단*시차의 상호작용항이 p값이 0.05보다 작으면 실험이 효과가 있다고 보고, p값이 0.05보다 크면 실험이 효과가 없다고 봅니다. 모형식은
Y=u+group+time+group*time+e
측정값= 전체 평균+ 집단의 효과+ 시차의 효과+ 집단*시차의 효과+ 오차
이렇게 됩니다.
이걸 그림으로 그리면 실험집단과 통제집단의 기울기를 보는 것과 같습니다. 실험집단과 통제집단의 기울기가 비슷하면 실험의 효과가 없는 것이고, 실험집단과 통제집단의 기울기가 차이가 많이 나면 실험의 효과가 있는 것으로 봅니다.
흔히 사회과학에서 기울기의 차이를 보는 것을 조절효과 검증이라 합니다. 통계학에서 상호작용효과가 바로 조절효과입니다.
3. 이론적으로 맞는 통계 방법론
위에 언급한 분석은 이론적으로는 맞지 않는 분석입니다.
위의 분석은 동일한 실험대상자의 사전 측정값과 사후 측정값이 서로 독립이라는 가정이거나 또는 서로간의 연관성이 있다는 정보를 이용하지 않는 분석입니다.
그러나 실제 동일 실험대상의 사전 측정값과 사후 측정값은 독립이 아니라 서로 연관성이 있습니다.
예를 들어 다이어트 효과를 한번 생각해보죠.
사전 몸무게가 100kg인 사람과 50kg인 사람을 생각해보죠. 다이어트 처치를 한 후에도 100kg인 사람은 최소 80kg 이상일 거라는, 또는 50kg인 사람은 많이 빠져도 4-5kg 정도 밖에 안 빠질거라는 상식적인 예상을 할 수 있습니다. 즉 사전 몸무게와 사후 몸무게가 어느 정도 상관성이 있습니다.
어떤 고등학교에서 새로운 교육방법론을 적용했다고 보죠.
그럼 입학시 성적이 좋은 학생은 졸업 시에도 성적이 좋을 거라 어느 정도 예상이 가능하고 입학시 성적이 안 좋은 학생은 졸업 시에도 성적이 안 좋을 거라고 어느 정도 예상이 가능합니다. 물론 전부 다 그렇치는 않겠지만 대부분 학생들이 그렇다는 것이죠.
그래서 이렇게 사전 측정값과 사후 측정값이 서로 상관관계가 있을 때 어떤 방법으로 실험의 효과를 측정할 까요.
자주 사용하는 방법이 반복측정 분석(reapeted measure), 성분분산 또는 분산성분 분석(variance component), 또는 혼합모형(mixed model)을 사용합니다.
반복측정과 성분분산은 SPSS에서 일반선형모형(general linear model)을 가면 할 수 있습니다.
다음 시간에는 여러 가지 방법론을 구체적으로 써 보겠습니다.