가능성함수(우도함수)와 MLE2

 

1. 확룰분포와 가능성함수 비교. 베루누이 시행을 가정하고, x1=0, x2=1, p=0.1, p=0.5 두가지가 있다고 가정하죠. 식은 같습니다. 갭처가 좀 잘못되어 죄송합니다.

 

 

 

 

 

 

 

2. 정규분포

 

X-N(a, b) 여기서 a는 평균, b는 분산을 의미합니다. 그러면

 

 

 

 

 

 

기 됩니다. 그럼 가능성 함수는 결합확률분포라고 했으니까 위 확률분포를 n까지 곱하면 됩니다. 그럼

 

 

 

 

 

 

 

앞의 파이 부분은 신경안써도 됩니다. 어차피 미분하면 날라 갈 부분입니다. 그래서 log을 취하면

 

 

 

 

 

 

 

가 되고 여기서 a와 b에 관해 미분해서 0으로 놓고 풀면 됩니다. 그럼

 

 

 

 

 

 

 

아마 이렇게 비슷하게 될 겁니다. 위의 연립방정식을 풀면 a와 b에 대한 MLE가 구해진다는 것이죠. 그럼 답은

 

 

 

 

 

 

이 됩니다. 이게 여러분이 고등학교에서 배운 평균과 분산 공식입니다. 정확하게는 표본평균과 표본분산으로 원래 가정한 정규분포의 평균과 분산을 추정한 값이죠.

 

그러나 통계학과나 통계프로그램에서는 표본분산을 위의 공식을 쓰지 않고 분모가 (n-1)이 됩니다.

 

즉

 

 

 

 

 

 

을 사용합니다. 이게 불편추정량이기 때문입니다. 즉 앞에서 이야기한 주류 중이 주류인 b에 대한 UMVUE입니다.

 

 

 

가 되기 때문입니다. 반면에 MLE는 불편추정량은 아니지만 분산이 UMVUE보다 적다는 장점이 있습니다.

 

 

 

 

 

2. 균등분포

 

이 경우는 모수 u가 관찰된 데이터 x의 값에 의해 제한을 받는 경우입니다.

 

X~U(0,u)에서 나왔다고 하죠. 즉

 

 

f(x|u)=1/u     if 0<x<u

 

          0       o.w.

 

그럼 결합확률분포는

 

 

f(x1, x2,...,xn)=1/un

 

if 모든 Xi가 0보다 크고, u보다 작으면 위의 분포가 된다는 것이죠. 이 경우가 아니면 0이고요.

 

 

 

모든 Xi가 0보다 크고, u보다 작다는 이야기는 max(X1, X2, ..,Xn) <u 라는 조건을 만족시켜야 한다는 이야기입니다. 가능성 함수가 x의 함수가 아닌 모수 u의 함수이기 때문에 다음과 같이 쓸 수 있습니다.

 

 

 

 

 

이걸 u에 관한 그래프로 생각하면 max(x1, x2,,,,,xn)이 될 때가지는 0 이다가 max(x1, x2,,,,,xn)에 가서는 갑자기 점프해서 1/(max(x1, x2,,,,,xn)n)이 되었다가 그 다음에는 퐉 하락하는 모양이 그래프가 됩니다. 그래서 L(u|x)는 max(x1, x2,,,,,xn)에서 최대값이 되고 u에 대한 MLE는

 

 

 

 

가 됩니다. 분명히 이건 잘못되었죠. 위의 u의 조건에서 max(Xi) <u 라고 되어 있으니까요.

 

현실적인 설명은 이렇습니다. 댐 공사를 한다고 하죠. 그러면 지금까지 관찰된 강우량보다 더 많은 비가 올거라 예상하고 댐공사를 한다는 것이죠. max(Xi) <u 라고 생각한다는 것이죠. 그러나 MLE는 max(Xi) =u 라고 생각하라는 것이죠. 이게 제일 좋은 추정이라고 주장하는 것이죠.