신뢰도와 타당도 분석2

 

원래 요인분석은 앞에서 이야기한 것 설문지 신뢰도와 타당도 분석(측정 모형)을 하기 위해서 나온 분석이 아닙니다. 주성분 분석과 마찬가지로 변수축약을 하기 위해서 나온 이론입니다. 우리 예의 경우 5개 변수를 ‘언어능력’과 ‘계산 능력’이라는 두 개의 변수로 줄인 것이죠.

 

도대체 이것을 왜 할까요? 우리가 관심을 가지고 있는 현상은 실제로 수 많은 변수들로 되어 있습니다. 기업 상황을 설명하는 것도 재무제표상의 지표상 수많은 변수들이 있고요. 사람 몸의 경우도 우리가 측정할 수 있는 변수들이 수도 없이 많습니다. 이 수많은 변수를 보면 우리가 현기증이 나서 더 이상 분석이 불가능하다는 것이죠.

 

 

그래서 이 수많은 변수들을 줄여서 현상을 간략하게 보고, 또 응용으로 관심 대상을 분류하는 것이 있습니다. 한의학에 보면 사상의학이라고 있죠. 태양인, 소음인, 태음인, 소양인 인가 이렇게 4가지로 사람들 체질을 분류하죠. 어떻게 하는 것인지는 정확하게 모르지만 사람 몸의 수많은 변수들에서 특징적인 몇 개의 변수로 줄여서 사람들을 네 개의 유형으로 분류했다고 보시면 됩니다.

 

특히 기업의 경우 이 분석을 응용할 곳이 굉장히 많습니다. 예를 들어 자동차의 경우를 보죠. 현재 시장에 나와 있는 수많은 자동차들이 있죠. 미국에서는 더 많겠죠. 그래서 자신의 회사에서 나온 자동차가 현재 시장에서 어떤 위치에 있는지 알고 싶다는 것이죠. 즉 소비자에게 어떻게 지각되고 있는지 알고 싶다는 것이죠.

 

그러나 자동차를 나타내는 변수는 따져보면 매우 많습니다. 가격부터 연비, 안정성, 품질의 견고성, 또는 AS 수준, 디자인 등... 이렇게 이렇게 수 많은 변수들로 되어 있어 쉽게 눈에 안들어 오죠. 그래서 두, 세 개의 변수로 축약해서 2차원 공간이나 3차원 공간에 시장에 나와 있는 자동차를 위치를 찍어 본다는 것이죠. 이쪽 분야에 일하시는 분은 다음에 쓸 주성분분석과 요인 분석을 잘 읽어 보시기 바랍니다.

 

 

 

 

다시 원래 설문도구 이야기로 돌아가서요.

 

 

앞의 표를 다시 가져 오죠.

 

문항	요인1	요인2
X1(단어 이해)	0.732	0.040
X2(문장 완성)	0.698	0.132
X3(문단 이해)	0.812	-0.081
X4(더하기)	-0.102	8.910
X5(세기)	2.091	6.484
고유값	2.54	1.46
변동 설명력	50.8	29.2
누적설명력	50.8	80.00

 

 

여기서는 위의 표와 같이 나왔는데 가장 이상적으로 잘 나오는 경우와 최악의 경우를 한번 살펴보죠.

 

상황	설문문항	요인1	요인2
가장 이상적	X1(단어 이해)	1.0	0.0
	X2(문장 완성)	1.0	0.0
	X3(문단 이해)	1.0	0.0
	X4(더하기)	0.0	1.0
	X5(세기)	0.0	1.0
거의 최악	X1(단어 이해)	4.32	2.12
	X2(문장 완성)	3.25	3.58
	X3(문단 이해)	2.78	4.35
	X4(더하기)	2.65	3.78
	X5(세기)	5.18	4.19

 

위의 표를 보면 가장 이상적인 경우는 X1-X3는 요인1에 해당하는 설문문항이고 X4-X5는 요인2에 해당하는 설문문항이고, 그리고 요인의 해석도 아동의 ‘언어능력’, ‘계산능력’으로 바로 해석될 수 있습니다. 그러나 밑의 경우는 가장 늘늘한 0.5/04 기준을 적용해도 제대로 요인에 묶이는 설문문항이 없습니다. 그래서 여러분의 설문문항을 가지고 요인분석을 했을 경우 가장 이상적인 상태로 갈수록 설문도구의 신뢰도와 타당도가 좋다고 이야기할 수 있습니다.

 

그럼 앞의 이상적인 경우는 왜 이상적인 경우라고 할까요? 예를 들어 X1 ‘단어 이해’의 경우 이 변수가 언어능력을 완벽하게 표현하고, 계산 능력과 관계가 없다고 생각하면

 

 

X1 = 1*F1 + 0*F2 + e

 

 

이렇게 표현 되겠죠. 여기서 측정오차 e는 사실상 없죠. 마찬가지로 X4, '더하기'는 언어능력과 관계 없고, 계산 능력을 완벽하게 표현하면

 

X4 = 0*F1 +1*F2

 

 

가 되겠죠. 위의 표의 요인적재값은 위 식에 있는 계수들을 정리한 값들입니다.

 

그래서 위의 경우가 이상적인 경우이고 아래쪽은 거의 최악에 해당하는 경우입니다.

 

 

그럼 신뢰도와 타당도의 개념을 정확히 뭘까요? 저도 이책 저책을 봐도 말로는 어쩌구 했어도 정확하게 통계적 기법으로 어떻게 되어야 신뢰도가 좋은 것인지, 또 타당도가 좋은 것인지 명확하게 이야기 된 것을 보지 못했습니다. 한국에서 나온 사회방법론 책은 언급할 가치도 없고요.

 

옛날에 sage 라는 출판사에서 나온 신뢰도와 타당도 책을 도서관에서 우연히 본 적이 있는데 우선 이걸 먼저 설명하고 몇 몇 책에 나오는 개념들을 소개 하겠습니다. sage 출판사는 사회과학분야에서 사회방법론, 즉 통계기법을 사용하는 이론을 많이 소개하는 문고형 책을 많이 내는 회사입니다. 하여간 거기 책에 따르면

 

 

신뢰도는 분산의 개념이고, 타당도는 불편추정량의 개념이라고 되어 있습니다.

 

 

이 말은 통계 이론을 잘 모르시는 분은 쉽게 이해하기는 힘든데요. 이게 통계학의 주류 중의 주류쪽 이론하고 관계가 있어서. 통계학의 주류중의 주류가 하는 일이 불편추정량중에서 가장 분산이 적은 통계량 찾는 것이 핵심 목표입니다. UMVE(unbised minimum variance estimator)라고 합니다.

 

하여간 예를 들어 설명을 하죠. 사람들이 음식 선호도에 대해서 알아본다고 하죠. 그래서 고기류 선호와 채소류 선호 두가지를 조사해 본다고 하죠.

 

만약에 설문문항이

 

소고기, 돼지고기, 닭고기

 

에 대한 선호을 물어 봤다면 일단 이 설문문항이 비슷비슷한 것을 물어 봤다고 느낄 수가 있습니다. 그래서 변동이 적다는 것이죠, 즉 통계의 개념으로 이야기 하면 분산이 적다는 것이고요. 이런 것은 신뢰도가 좋다고 합니다. 이 신뢰도에서는 위의 설문문항이 “고기류” 선호를 가리킨다는 사실은 관계가 없습니다. 그래서 대표적인 신뢰도 측정 값이 Cronbach 알파 값입니다. 각 변수들끼리 비슷비슷(즉 상관관계가 높으면) 알파값이 올라가죠.

 

반면에 소고기, 돼지고기, 김치

 

의 선호도를 물어봤다면 이건 신뢰도가 낮아집니다. (소고기, 돼지고기)와 (김치)는 서로 잘 안 맞죠.

 

한편 타당도는

 

위의 소고기, 돼지고기, 닭고기가 고기 선호를 가르키고, 김치, 콩나물, 시금치가 채소 선호도를 가르키는지 측정하고저 하는 것입니다. 우리는 이해 능력이 있으니 분명 알 수 있지만 통계프로그램은 그런 능력이 없습니다. 단지 숫자 덩어리를 가지고 분석할 뿐이죠.

 

만약 고기 선호도를 측정하는데

 

소고기, 돼지고기, 갈치가 들어가면

 

이젠 갈치 때문에 조금 애매모호해 진다는 것이죠. 즉 타당도가 낮아지고, 요인분석을 하면

갈치 선호도의 요인적재값이 0.2-0.6 사이에서 애매한 값들이 나온다는 것이죠.

 

채소류도

 

김치, 콩나물, 딸기로 되어 있으면 딸기는 과일류로서 이젠 이것도 타당도가 떨어집니다.

 

일반적으로 요인분석에서 타당도가 좋을수록 신뢰도가 높아질 수 밖에 없습니다. 설문문항이 각 구성개념을 잘 식별하는 경우는 회색칠한 요인적재값이 0.8-0.9로 가는 경우인데 그러면 필연적으로 신뢰도가 좋아집니다. 즉 x1과 요인1과의 관계가 0.8이상이고 x2가 요인1와의 관계가 0.8이상이면 x1과 x2의 관계도 높아지기 때문입니다.

 

 

 

팁:

 

만약 요인적재값이 -0.3이나 -0.4 이상이 나오는 경우는 부정문항, 역문항을 역코딩 안해서 생기는 경우일 수 있습니다. 그래서 이런 높은 음수값이 나오면 해당 설문문항을 다시 한번 체크하시길 바랍니다.

 

다음에는 신뢰도와 타당도의 개념을 좀 더 설명하고 탐색적 요인분석과 확인적 요인 분석의 차이, 그리고 이론 부분들을 설명하겠습니다.