설문도구 신뢰도, 타당도 분석1

 

1, 왜 하는가

 

먼저 설문도구의 신뢰도와 타당도 분석이 왜 필요한지 이야기를 해보죠. 일반적으로 자연과학에서 발견되는 데이터나 아니면 인구사회통계는 물리적 관찰치라 측정하는데 그리 큰 오차가 없습니다. 물론 아무리 좋은 측정기구를 사용해도 일정 부분 측정오차는 생깁니다. 그리고 그 관찰을 인간이 한다면 측정오차는 더 커지지만요. 물론 이 측정오차가 너무 커지만 인정하고 들어간다는 것이죠. 그래서 이런 분야에서 심각하게 고려해야 하는 오차는 표본오차입니다. 우리가 관심을 가지고 있는 현상에 대해 전수전수를 할 수 없어 표본조사를 하거나 아니면 몇 몇 관찰된 현상에서 결론을 도출해 내야 하거든요.

.

 

그러나 통상 사회과학에서는 측정오차의 문제가 심각하게 생깁니다. 사회과학에서 중요하기 다루는 개념, 논문의 연구대상 변수가 되겠죠, 이런 개념들은 물리적 현상이나 인구사회 데이터가 아니고 인간의 심리, 가치, 신조, 이런 종류의 개념들이 많거든요. 이게 눈에 딱 보이는 현상들이 아니기 때문에 측정에 어려움이 있다는 것이죠. 스트레스, 우울, 중독, 만족도, 자살의도, 이직의도 이런 것의 수준을 본인이 얼굴에 써 놓고 다니는 것도 아니고 옷에다 적어 놓고 다니는 것도 아니다는 것이죠. 그리고 본인 스스로로 명확히 그 값을 모르고요.

 

 

그래서 어쩔 수 없이 설문문항을 만들어 사람들에게 물어보고 그 값을 적어라 해서 그 개념의 값을 측정하려고 하는 것입니다. 이때 사회과학에서의 개념을 구성개념(contruct)라고 합니다. 이렇게 노력해도 상당한 측정오차가 생기겠죠. 그래서 간단히 모형을 하면

 

 

 

설문문항 관찰치를 X, 구성개념의 값을 F, 그리고 측정오차를 e 라 하면

 

X=F+e

 

여기서 F가 여러개 있다면, 즉 스트레스의 예를 들면 하위영역으로 많은 종류의 스트레스가 있죠, 경제적 스트레스, 인간관계 스트레스, 물리적 스트레스, 등등 그리고 위 식을 좀더 자세히 써면

 

X=a1F1+a2F2+a3F3+e

 

이렇게 될겁니다. 앞의 회귀분석에서 이야기 했지만 앞의 F에 해당하는 변동이 크고, 측정오차 e에 해당하는 변동이 작으면 좋겠죠. 그럼 관찰치 X는 사화과학의 학문적 변수인 F를 잘 표현해주는, 또는 잘 측정해주는 설문도구라 할 수 있습니다.

 

 

 

그러나 설문도구(즉, 설문문항)을 만들때 하나의 설문문항을로 무식하게 물어보지는 않습니다.

 

“당신의 경제적 스트레스는 어떻습니까?”

 

이렇게 물어보면 당사자도 정확히 알 수가 없는 것이거든요. 그래서 측정오차가 커집니다. 그럼 해결책은 간단합니다. 좀 더 구제척인 물어보고, 이 구체적인 질문을 여러개 한다, 그러나 사실상 같은 질문을 해서는 안된다. 예를 들어

 

 

“다른 직종에 비해 임금이 작다”,  “동일 직종에 근무하는 타 회사 사람들 보다 임금이 적다”,  “내 학력에 비해 임금이 적다”

 

 

이런 식으로 물어보고 사람들이 이 설문문항에 측정한 값을 가지고 평균을 내면 이제 경제적 스트레스에 대한 측정치라고 할 수 있다는 것이죠. 그러나 본인의 진짜 경제적 스트레스 수준은 모르기 때문에 여전히 측정오차는 존재합니다.

 

 

그래서 우리가 지금 하고자 하는 것은 이렇게 설문도구를 만들었는데 이게 진짜 괜찮은 것인지, 아닌지 실제 논문 주제에 해당하는 분석을 하기 전에 한번 검증해보자는 것이죠.

 

왜 설문도구를 만들고 신뢰도, 타당도 분석을 하는지 이젠 아셨죠. 자연과학을 하거나 통계학과나 경제학과는 이런 것이 문제가 별로 되지 않기 때문에 처음에는 뭘 하는지 잘 모릅니다.

 

 

 

그럼 실제 학위 논문에서 하는 것을 한번 보죠. 통상 석사는 Cronbach 알파 값이라는 것을 구하고, 경영학과 석사에서는 탐색적 요인 분석까지 요구합니다. 요즘은 일반 사회과학에서도 석사수준에 탐색적 요인 분석을 요구하는 곳도 있습니다. 박사는 확인적 요인 분석을 하라고 요구하는 곳도 있습니다. 그래서 이런 작업을 의뢰할 때는 학과의 최근 경향을 이야기 해주셔야 합니다.

 

특히 문제가 되는 것은 신뢰도, 타당도 분석을 통해 실제 분석에 사용되는 설문문항을 한 번 걸려 내는데 신뢰도, 타당도 분석을 다시해서 분석하라고 하면 이젠 실제 분석에서 사용되는 설문문항이 달라져 버립니다. 한 문항이 달라져도 그 후에 나오는 실제 분석을 전부 다 고쳐야 합니다. 교수는 말 한마디지만 작업은 실제 분석 전체를 엎어버리는 작업이 돼 버립니다. 한 두 개 추가 작업이나 수정작업이랑 차원이 다르다는 것이죠.

 

다음의 예는 Lattin 책에 있는 예입니다. 실지로 연구한 작업입니다. 미국의 7-8세 아동을 대상으로 단어이해, 문장 완성, 문단 이해, 더하기, 세기(counting) 등 다섯가지을 측정했스니다. 일반적인 아동의 학습능력, 또는 지적 능력을 알고 싶어서 한 것이겠지요. 즉 학습능력, 지적 능력이 구성개념이 되겠습니다. 즉 F입니다. 그러나 측정한 변수 5개 보면 이 능력에는 두 개의 다른 능력이 보이죠. 즉 언어능력과 계산 능력 두 가지가 있다는 것이죠. F1과 F2, 그래서 F=a1F1+a2F2 이렇게 쓸 수 있다는 것이죠.

 

 

1) 여기서 그냥 흥미로 알아 두시기 바랍니다. 수학에서는 +하기만 있지 -는 없습니다. 즉 a-b=a+(-b)입니다. 즉 즉 b가 양수라면 -b는 음수가 되고, b가 음수라면 -b는 양수가 되는 것이죠. 양수만 있는 집합의 경우에는 -. 빼기 개념이 있을 수 있지만 이 경우는 a-b가 음수가 되는 경우가 생겨 원래 집합에서 빠져 나가서 곤란합니다.

 

2) 그럼 여러분, 아마 거의 대부분 사람이 이름을 조금 다르지 모르지만 언어능력, 계산 능력 두가지 요인으로 나눴을 것입니다. 도대체 왜 모든 사람들이 이렇게 생각하는 것일까요? 바로 각 변수들 간의 상관성입니다. 앞의 단어 이해, 문장 완성, 문단 이해는 서로 비슷비슷할 것이고, 뒤의 더하기와 빼기 역시 비슷비슷할 것이라는 것이죠. 즉 언어 능력이 뛰어난 학생은 단어이해도 잘하고, 문장완성도 잘하고, 문단 이해도 잘 할것이고, 반대로 언어능력이 떨어지는 학생은 단어이해도 낮고, 문장 완성도 낮고, 문단 이해도 낮고 이럴 것이라는 것이죠. 이런 생각이 상당수 다변량 분석의 밑에 깔린 아이디어입니다.

 

 

 

 

 

2. Cronbach 알파값

 

통상 석사에서 사용하는 신뢰도 검증값입니다. 밑에 있는 표를 3장의 연구방법에서 만들거나 아니면 내용 중간에 쓰시면 됩니다. 표에 있는 값들은 조작된 값입니다. SPSS에서는 신뢰도에서 그냥 설문문항을 선택하시면 자동적으로 구해 줍니다. X1을 단어 이해, X2를 문장 완성, X3를 문단 이해, X4를 더하기, X5를 세기라고 하면 언어능력의 경우 X1, X2, X3을 지정하면 되고, 맨 아래 전체의 경우 X1, X5까지 다섯 개 변수를 다 지정하시면 됩니다.

 

변수	하위영역 변수	Cronbach 값
일반적 학습능력	언어 능력	0.804
	계산 능력	0.752
	전체	0.845

 

 

크론바 알바값은 기본적으로 해당 변수들 간에 상관계수가 얼나마 좋은 지 측정하는 값입니다. 설문문항의 내적일치도라고 이야기 합니다. 통상 0.7 이상이면 양호하고, 0.6이상이면 무난합니다.

 

그래서 각 설문문항간에 상관관계가 높으면 1로 가까이 가지만 한편 설문문항수가 많아지면 값이 커지는 단점이 있습니다. 표에서 맨 아래는 5개 문항을 다 써서 크론바 알파 값을 구한 것인데 이 값이 제일 크게 나왔죠. 이 값을 누가 만들었는지는 모르겠고요, 하여간 공식은

 

kR / [1-(k-1)R]

 

 

이렇게 됩니다. k는 변수의 갯수이고 R은 각 변수들간의 상관계수를 구해서 더하고 그리고 마지막으로 변수의 개수 k로 나눈 값입니다. 즉, 퍙군 상관계수로 보시면 됩니다. K가 무한대로 가거나, R이 1로 가면 크론바 알파값이 1로 가는 현상을 볼 수 있습니다. 원래 아이디어는 잘 모르겠지만 R이 가질 수 있는 이론적 최대치는 1입니다. 그래서 분모 앞에 있는 1은 1*1, 즉 1*(R의 최대치)로 생각할 수 있습니다. 그럼 분자, 분모에 k를 나눠주면

 

R / [1/k * (R이 최대치) +(1-1/k) * R]

 

즉 분모가 R과 1(R의 최대치)의 가중 평균이 됩니다. 그래서 R과 1 사이에서 항상 값을 가지게 되는 것이죠.

 

그래서 위 식의

 

R / (R과 R의 최대치인 1의 가중평균)

 

으로 해석됩니다.

 

언어 능력이 경우 R은 (단어이해, 문장완성), (단어이해, 문단이해), (문장완성, 문단이해)의 상관계수를 구해서 변수의 개수인 3을 나눠 주면 구해집니다.

 

 

 

 

 

3. 탐색적 요인 분석

 

탐 색적 요인 분석이 통계학 책에 나오는 요인분석이고 SPSS 메뉴에 나오는 요인분석입니다. 확인적 요인 분석은 AMOS에서 돌려야 하고, 아마 통계학 책에도 아직까지 안 나올 겁니다. 확신은 못하겠네요. 옛날에는 확실히 없었지만 최근에는 들어왔을 가능성도 있고요.

 

이 탐색적 요인 분석은 설문도구의 신뢰도와 타당도 분석의 핵심입니다. 특히 자신이 스스로 설문도구를 만들 경우, 아니면 아직 우리나라에 제대로 정착이 안된 설문도구인 경우 꼭 해야 하는 작업입니다.

 

예를 들어 여러분이 학생들이 스마트 폰 중독에 대해 관심이 있다는 것이죠. 이게 학생들 성적이나 인간관계, 또는 가족관계에서 어떤 영향을 주는지 알고 쉽다는 것이죠. 그런데 아직까지 이 스마트 폰 중독 정도를 측정하는 설문도구가 개발이 안되었다고 하면 이젠 본인 스스로 설문문항을 만들 수 밖에 없습니다.

 

그리고 이 경우는 앞의 스트레스나 아동의 학습능력과 달리 하위영역이 있는지도 의심스럽다는 것이죠. 제가 생각하기에는 중독에도 좋아서 빠지는 몰입과 시간 때우기 같은 습관성 중독 두 가지로 나눠 질 것 같은데 잘 모르겠습니다. 아마 논문을 찾아보면 누가 벌써 만들어 놓았을 겁니다. 하여간 여러분이 스스로 학생들 스마트 폰 중독 현상을 나타내주는 설문문항을 여러게 만들 경우 설문지 돌려서 학생들에게 점수를 매기게 한후 바로 해야 할 일이 이 탐색적 요인 분석입니다.

 

앞의 예를 탐색적 요인 분석을 해보죠. 마찬가지로 표의 값은 가짜입니다.

 

 

문항	요인1	요인2
X1(단어 이해)	0.732	0.040
X2(문장 완성)	0.698	0.132
X3(문단 이해)	0.812	-0.081
X4(더하기)	-0.102	8.910
X5(세기)	2.091	6.484
고유값	2.54	1.46
변동 설명력	50.8	29.2
누적설명력	50.8	80.00

 

 

 

1) SPSS에서 하기

 

데이터 축약(정확하게 이야기 하면 변수 축약이 정확한 말)==>요인분석한 다음

 

a)추출

:기본이 고유값 1 이상으로 되어 있는데 이건 앞에서 이야기 한 것처럼 본인이 직접 설문도구를 개발한 경우나 한국에서 아직 완전히 검증이 안된 경우 사용하는 것이고, 대부분 요인의 수를 적어 주시면 됩니다. 위 예의 경우 2개 요인이 있으니까 2를 적어 주시면 됩니다.

 

b) 회전

varimax를 선택하시면 됩니다. 만약 요인을 하나로 할 경우, 즉 단일 척도인 경우 none로 해야 합니다. 회전 시킬 이유가 없습니다. 단일척도는 우울, 자살의도, 만족도, 이직의도 이런 변수들은 하위영역 변수로 나누지 않고 단일 척도로 많이 사용됩니다. 이것도 참고하신 선행연구 3장 선행연구에서 설문지 구성을 보시면 아실 수 있습니다.

 

varimax 말고 다른 회전방식은 선택하실 필요가 없습니다. 대부분 설문도구는 SPSS에서 varimax를 선택해서 개발된 것이기 때문에 이 방법이 가장 결과가 잘 나옵니다. 이 요인분석은 수식이 정해져 있어 결과가 정확하게 나오는 것이 아니라 수치해석을 사용하여 근사치를 구한 결과입니다. 그래서 통계 프로그램마다 그 결과가 다릅니다. 따라서 신뢰도와 타당도 분석의 경우는 SPSS를 이용하는 것이 가장 좋습니다.

 

c) 요인점수

혹시 평균이나 합을 사용하지 않고 요인점수(factor scores)를 실제 분석에서 변수로 사용하실 생각이면 요인점수에서 변수로 저장을 선택하시면 됩니다.

 

그 외 기타 검증통계량 같은 것들이 있는데 거의 쓸모 없는 것들입니다.

 

 

 

2. 실제 해석

 

a) 요인 적재값

 

위의 요인분석 결과 표에 있는 -1과 1 사이에 있는 값들을 요인적재값(factor loadings)이라고 합니다. 각 변수별, 즉 설문문항별로 요인 적재값이 0.5 이상이고 나머지는 0.4 이하가 되게끔 회색칠을 합니다. 표의 회색칠은 이 기준에 따라 회색칠을 한 결과입니다. 그럼 X1, X2, X3은 요인1과 관련이 있고, X4, X5은 요인2와 관련이 있다는 것을 알 수 있습니다. 즉 X1, X2, X3는 요인1, F1에 관한 측정변수이고, X4, X5은 요인2, F2에 관한 측정변수임을 알 수 있습니다.

 

0.5/0.4 기준은 매우 널널한 기준입니다. 전에는 매우 엄격했는데 최근에는 이 기준들이 많이 완화되는 것 같습니다. 실제 분석을 해 봐도 교과서에 나오는 기준을 맞추는 경우는 별로 없습니다. Lattin책은 좀 다른 책보다 좀 엄격한 기준을 내세웁니다. 이 기준이라는 것이 증명되는 것도 아니고 경험 법칙이거든요. 너무 여기에 목 매달 필요는 없습니다.

 

만약 이 기준을 만족시키지 못하는 설문문항, 측정변수 들이 있으면 이 문항들을 제거하여 만족할 결과가 나올 때 까지 요인분석을 해야 합니다. 예를 들어 문단이해에서 요인적개값이 0.43, 0.37 이렇게 나왔다면 다음 요인분석에서는 X1, X2, X4, X5만 넣고 요인분석을 돌린다는 것이죠. 그리고 최종 만족스런 요인 분석 결과가 나왔을 경우 이때까지 제거된 설문문항은 데이터 상에는 있지만 사실상 없는 데이터로 생각하고 분석합니다.

 

 

 

b) 요인 이름 주기

 

그 다음 요인1과 요인2에 대한 실제적인 이름을 줄 수 있어야 합니다. 위의 과정을 통해 설문문항과 요인을 묶었는데 요인이 해석이 안되면 이건 아무런 필요가 없습니다. 그럼 요인을 줄이거나 설문문항을 제거하거나 해서 요인에 대한 이름을 줄 수 있어야 합니다. 위의 경우 우리는 요인1을 ‘언어능력’, 요인2를 ‘계산능력’이라고 이름 줄 수 있겠죠. 이름을 잘 붙이시는 분은 비슷한 개념이지만 다른 이름을 붙일 수도 있고요, 아무 전문적인 분야인 경우 그 분야 전문가가 더 잘알겠죠.

 

흔히 경영학과에서는 이 이름도 붙이지 않고 실제 분석에서 요인1, 요인2 하고 요인 점수를 사용한 것을 바로 쓰는데 왜 논문을 쓰는지 알 수가 없습니다. 요인 이름을 붙일 수 없으면 더 이상 논문을 진행할 수 없습니다.

 

 

 

 

c) 고유값(eigenvalue)

 

요인분석에서는 값 측정치 X1, 부터 X5까지 전부 표준화합니다. 즉 설문문항의 분산값을 전부 1로 되게끔 변수전환을 해서 분석합니다. 그럼 각 변수의 분산이 1이고 그리고 위의 예에서 변수가 5개 이니까 총 5개 변수의 분산은 합하면 5입니다. 즉 전체 변동은 요인분석에 들어간 설문지 문항 수 입니다.

 

고유값은 이 총 분산 5에서 요인이 설명하는 분산을 말합니다. 그래서 요인 1에서는 고유값이 2.54이니까 요인1이 설명하는 분산은 2.54이고 전체 변동 5에서 이 요인이 설명하는 설명력은 2.54/5가 되어 50.8%입니다. 그리고 두 번째 요인 요인2는 분산이 1.46이고 설문문항 총 분산 중 1.46/5해서 29.2%가 됩니다. 그리고 이 두 개 요인이 설명하는 총 분산은 2.54+1.46=4 가 되어 총 분산 중 80%가 됩니다. 최소한 50%는 넘어야 하는데 요인이 해석이 안되는 경우보다는 낫습니다. 하여간 이런 안 좋은 경우가 생기는 것은 최초의 설문도구가 별로 안 좋거나 설문조사에서 상당한 문제가 있다는 것을 의미합니다. 그래서 전문적인 분석으로 들어가야 합니다.

 

저녁이나 밤에 조금 더 쓸게요.