불변

 

1. UMVUE에 대해서 아직 감이 안 오겠지만 다음 글에 UMVUE에 관한 중요한 정리를 몇 개 설명 드리겠습니다. 단지 여기서 알아야 할 것은 가장 기본적인 모형, 많이 알려져 있는 분포에서 모수 u는 E{X]입니다. 즉 대부분 위치 모수이고 이 위치 모수 u에 대한 UMVUE는 우리가 가장 많이 쓰는 표본평균이라는 사실만 알아 두시면 됩니다. 사실 그 이상의 경우 이 UMVUE에 관한 내용은 대부분 통계학 책에 안 나옵니다. 아주 특별한 경우에 UMVUE가 존재할 수 있는데 이런 내용은 아주 고급 통계학책을 봐야 합니다. Lehmann 책을 보거나 힝클리 책을 참조하시기 바랍니다. 그렇지만 시간 낭비라는 것....

 

 

 

 

 

2.불변성(invariance)

 

마지막으로 이야기 할게 불변성인데 이건 MLE 추정량의 바람직한 성격으로 보통 책에 나옵니다. 내용은 간단합니다. u에 대한 MLE 추정량이 T(X)라고 하면 u의 1-1 대응 함수(간단히 이야기해 단조증가나 단조감소 함수 같은 것이요) g(u)가 있을 때 g(T(X))는 g(u)의 MLE가 된다는 이야기입니다.

 

예를 들어 u의 MLE이가 표본평균이면 exp(u)의 MLE는 exp(표본평균)이 되고, u가 양수라면 log(u)의 MLE는 log(표본평균)이 된다는 것이죠. 즉, 가능성함수(우도함수)를 새 모수 g(u)에 대해 새로 써서 미분해서 MLE를 구할 필요가 없이 그냥 u에 대한 MLE 추정량에 함수 g를 취하면 된다는 것이죠.

 

이런 성질이 당연한 것 같죠. 생각하는 것 만큼 당연하지 않습니다. 예를 들어 정규분포에서 모수 u에 대한 추정량은 표본 평균입니다. 그럼 새로운 모수 u^2에 대한 추정량은 어떻게 될까요? 그냥 표본평균^2이 바람직한 u^2에 대한 추정량일까요?

 

우리가 흔히 아는 분산의 공식을 한번 보죠.

 

Var(X)=E(X^2)-u^2

 

입니다. 분산이니까 이거 0보다 크죠, 즉, E(X^2) > u^2입니다. X 대신 표본평균(여기서 E(표본평균)=u)을 대입하면 E(표본평균^2) > u^2입니다. 표본평균의 제곱은 항상 모수 u^2보다 크다는 것이죠. 금융공학 공부하시는 분은 주식가격 공식을 자세히 한번 보시기 바랍니다.

 

그래서 모수의 변환에 따라 원 추정량을 그냥 변환해서는 안됩니다. 또한 지금 예에서 u^2은 1-1 함수가 아닙니다. 이 경우 앞의 MLE의 불변 성질도 적용이 안됩니다.

 

 

하여간 MLE는 1-1 대응함수일 경우 불변이라는 좋은 성질을 가지고 있다고 했으니 당연히 UMVUE에서는 이런 성질이 없겠죠. 그러니 주류 중의 주류 얘들이 가만 있을 수 없죠, 그래서 나온 것이 equivariance 성질입니다. 불편의 성질이기는 한데 좀 더 제한적인 성격이죠. 이야기 하려면 수학의 group 이라는 algebra 이야기도 해야 하니 넘어가죠. 이것도 Lehmann 책을 보시면 됩니다. 앞으로 책에서 이런 내용을 보시면 MLE의 불편성질에 해당하는 것을 찾으려는 노력의 일환으로 보시면 됩니다.

 

제가 이야기하는 것은 이론 이야기가 아니고 현실 통계에서 바로 느낄 수 있는 불변의 성질을 이야기하려고 합니다. 예들 들어 온도가 어떤 변수에 미치는 영향에 대해서 연구를 한다고 해보죠. 농작물의 수확량이 될 수도 있고, 정밀 측정기구의 길이도 될 수도 있고.. 등등

 

그래서 한국에서는 당연히 온도는 섭씨 C로 측정해서 연구를 했고요, 똑같은 상황에서(불가능하지만 상상해서) 미국에서 화씨 F로 측정해서 연구를 했다고 하죠. 섭씨로 하던 화씨로 하던 연구 결과는 똑같이 나와야 되겠죠. 즉 한국에서 영향력이 있다고 나왔다면 미국에서도 영향력이 있다고 나와야 하고, 한국에서 영향력이 없다고 하면 미국에서도 영향력이 없다고 나와야 하겠죠.

 

즉 F=9/5*C+32(맞나?)라는 변환에 대해 통계 결과는 똑같아야 한다는 것이죠. 그래서 우리가 조금 일반적인 표현을 사용하면 원래 변수 X가 있고, 변환된 변수 Y=a*X+b가 있을 때 X로 하던, 변환된 변수 Y로 하던 통계결과가 똑같아야 한다는 것이죠.

 

이 Y=aX+b 변환을 조금 어려운 말로 하면 Affine Transformation 이라고 합니다. 그래서 “affine transformation에 대해 결과가 invariant해야 하므로” 라는 말이 나오면 위의 온도에서 화씨, 섭씨 예를 생각하시면 됩니다. 원래 좀 더 심오한 의미가 있는데 여기 주제랑 관계가 없으니까 생략하고요.

 

 

그럼 회귀분석에서 독립변수로 성별을 넣었을 경우 첫 번째는 X: 남자=0, 여자=1로 코딩한 경우와 Y; 남자=1, 여자=2로 코딩한 경우 통계결과는 어떻게 될까요? 이 경우는 affine transformation에서 a=1, b=1인 경우입니다. 회귀계수, t 값, p 값은 전혀 변하지 않습니다. 변하는 것은 별 관계없는 상수만 변합니다. 만약 Y: 남자=0, 여자=2 이렇게 하면 어떻게 될까요.

 

회귀분석에 보면 또 표준화 계수가 있죠. Y'=(Y-평균)/표준편차, X'=(X-평균)/표준편차 이렇게 변환하는 것을 표준화한다고 합니다. 즉 새 변수의 평균을 0, 표준편차를 1로 만드는 변환입니다. 이것도 affine 변환이죠. 따라서 이것도 t 값이나 p 값이 달라지면 안됩니다.

 

사회과학에서 설문지 문항을 여러개 만들어 변수로 많이 측정합니다. 이때 설문문항의 합으로 하는 것이 나을까요, 아니면 문항수를 나눠 평균을 하는 것이 나을까요? 평균=합/n 이므로 이것도 affine 변환입니다. 따라서 통계 결과에는 아무런 영향을 못미칩니다.

 

LIkert 5점 척도로 만들어 설문조사를 하는데 실수를 해서 매우 그렇다=1, ..., 매우 그렇지 않다=5로 코딩을 하였습니다. 원칙은 매우 그렇지 않다=1, ..., 매우 그렇다=5로 코딩해야 합니다. 그래서 원칙상 역코딩을 해야 합니다. 이 경우 만약 회귀분석을 한다면 결과가 어떻게 나올까요? 회귀계수의 경우 기울기만 음수가 양수로, 양수가 음수로 바뀝니다. t 검증에서도 부호만 바뀌고요. t 검증이나 분산분석에서는 평균도 바뀌죠. 그러나 공식은 간단합니다. 6-평균하면 됩니다. 표준편차는 변하지 않고요.

 

이렇게 되는 것이 “역코딩한 새 변수=6- 원래 변수”로 이것 역시 affine 변환이기 때문입니다.

 

회귀분석에서 투입하는 독립변수의 순서를 바꾸면 어떻게 될까요? 결과가 전혀 달라지지 않죠. Y=0.4X1+0.27X2와 Y=0.27X2+0.4X1이나 똑같은 식이잖아요, 즉 변수의 휘젓기에 불변해야 합니다. 휘젓다?... shuffling 이라고 하나, 수학 용어가 있는데 까먹었네요. 만약에 데이터 코딩 순서를 바꾸면 어떻게 될까요? 회귀분석 결과가 안변하죠, 회귀분석에서 첨자는 단순히 코딩한 순서에 불과하거든요. 그러나 시계열 데이터는 달라지죠. 이때는 첨자는 시간 t 인데 자기상관 같은 것이 있거든요.

 

그래서 결론은 우리가 생각할 때 상식적으로 만족시켜야 하는 불변성질은 통계 결과가 만족시켜야 합니다.

 

그런데 이런 상식적인 불변의 법칙을 만족시키지 못하는 경우도 있습니다. 최근 계량경제에서 많이 사용하는 VAR 모형에서는 변수를 넣은 순서에 따라 통계결과가 달라집니다. 책에 보면 그렇다고 합니다. 최근에는 진전이 생겼는지 모르겠지만.

 

다음은 UMVUE에서 나오는 중요 공식 간단히 소개하고 MLE를  몇몇 경우 구체적으로 구해보죠.