통계 결과가 안 좋으면 참 골치 아프죠. 연구모형 가설 검증은 대부분 회귀분석, 로지스틱 회귀분석, 구조방정식 등으로 하는데 연구 결과가 안 좋다는 이야기는 상식적인 결과가 안 나왔다는 이야기죠.
원칙적으로 통계 결과를 조작하려면 데이터 자체를 조작해야 합니다. 그러나 이런 작업은 매우 힘든 작업입니다. 어떤 결과를 고치려고 데이터를 조작하면 다른 결과에서 이상한 결과가 나올 수가 있거든요.
물론 데이터를 고치지 않고 전문가들은 조작을 할 수도 있습니다. 하여간 이런 것은 별로 안 좋겠죠. 특히 안전이나 과학적인 분야는 절대 조작을 해서는 안 됩니다.
하여간 이런 결과가 안 좋을 때 어떻게 해야 할 지 물어 보시는 분들이 많습니다. 여기서 간단히 조언을 하면요.
1.
일단 연구 변수들간의 상관관계표를 구해 봅니다. 여기서 나온 상관계수가 상식에 맞지 않으면 데이터 변형(이건 조작이 아니고 통계 분석을 하기 위해서는 필연적으로 데이터를 변형하는 작업입니다) 과정을 다시 한번 확인해 봐야 합니다. 코딩 에러가 없는지, 연구변수 측정을 위해 평균이나 합을 구하는 과정에서 에러가 없는지 이런 것을 확인해 봐야 한다는 것이죠.
2.
회귀분석이나 로지스틱, 구조방정식에서 표준오차(s.e.) 값을 한번 봅니다. 특정 변수의 표준오차 값이 다른 변수들보다 훨씬 큰 값이 있으면 이것 대부분 다중 공선성 문제입니다. 즉 독립변수, 또는 구조방정식에서는 모형의 인과관계가 매우 복잡한 경우, 로지스틱 회귀분석에서는 종속변수에서 두 집단 중 하나의 집단이 10% 미만인 경우 이런 일이 벌어집니다.
1) 회귀분석 중 조절효과를 보기 위해 위계적 회귀분석을 했다면 독립변수와 조절변수를 먼저 평균 이동(mean centering)이나 표준화를 먼저 실시해야 합니다.
2) 일반 회귀분석시 s.e 값이 크게 나오는 등 다중 공선성 문제가 일어났다면 회귀분석시 enter 방식을 하지 말고 후진제거나 전진 선택, 단계식 선택 등을 하면 시도해 봅니다. 그래도 만족하는 결과가 안 나오면 측정도구 신뢰도 타당도 분석에서 턈색적 요인 분석을 할 때 더 엄격한 기준을 적용하여 부적절한 설문문항을 더 제거한 다음 다시 평균값이나 합을 구합니다.
이렇게 요인분석시 엄격한 기준을 적용할 수록 변수들간의 독립성이 더 커집니다.
요인분석시 요인점수를 저장할 수 있습니다. SPSS에서 선택메뉴에 있습니다. 이 요인점수를 독립변수로 사용할 수 있습니다. 즉 설문문항을 평균하거나 합을 할 수 있지만 이렇게 하지 않고 요인점수를 독립변수로 대신 사용할 수 있습니다. 이건 경영학과에서는 많이 하는데 일반 사회과학에서는 잘 안 받아 줄 수 있습니다. 하여간 요인분석시 더 엄격한 기준을 적용하면 이 요인점수처럼 독립성이 더 강화되어 다중공선성 문제가 없어질 수 있습니다.
3) 구조방정식에서도 탐색적 요인분석이나 확인적 요인분석시 부적절한 설문문항 제거 기준을 더 강화해서 좀 안 좋은 문항은 분석에서 제외를 합니다. 이래도 s.e가 큰 값이 나오면 연구모형을 좀 더 간결히 하는 수 밖에 없습니다. 즉 복잡하게 인과관계, 화살표가 설정되어 있으면 이 인과관계를 좀 더 단순히 설정해야 합니다.
3.
다중공선성 문제가 없더라도, 즉 표준오차 값이 유별나게 큰 값이 없더라도 독립변수의 수가 많거나 구조방정식에서 모형의 복잡하면 종속변수에 미치는 영향력이 각 독립변수로 분산되어 그 영향력이 유의하지 않다고 나오는 경우가 많습니다.
상관계수 분석은 단순회귀분석, 즉 독립변수가 하나가 들어간 회귀분석과 결과가 같습니다. 통상 상관계수 분석에서 보면 대부분 유의적인 상관관계가 있는 것으로 나옵니다. 그러나 연구모형에서 회귀분석시 독립변수를 여러개 넣은 다중회귀분석을 하면 영향력이 있다고 나오는 변수가 확 줄어 들 수가 있습니다. 표준오차 값에서 유별나게 크게 나오는 경우가 없는데도요. 이런 경우가 독립변수가 여러개 들어가 종속변수에 미치는 영향력이 분산되어 버려 영향력이 유의하지 않게 나오는 경우입니다. 이런 경우 지도교수 허락하에 독립변수 수를 줄이는 수 밖에 없습니다.