학위논문통계

1. 여기 블로글 방문하시는 분들 중에서 MLE를 실제로 어떻게 구하는지에 대해 관심이 있는 분들이 많으신 것 같습니다. 그래서 실제 MLE 구하는 방법에 대해 간단한 예를 통해 설명해 드리겠습니다. MLE 구하는 방법은 학부 1학년 수준의 기초통계학에서는 아마 배우지 않을 겁니다. 급하신 ..

지난번에 지수계열 분포인 경우 EM 알고리즘이 생각보다 쉽게 풀어진다고 이야기 했습니다. 이번에는 실제 EM 알고리즘을 쓸 필요가 없는데도 불구하고 EM알고리즘을 설명하기 위해 일부러 쓴 예를 소개하겠습니다. 그래서 지수계열 분포인 경우 어떻게 EM 알고리즘이 작동하는지 한번 보..

앞에서 이야기했지만 EM 알고리즘은 log f(x,u)를 최대화하는 u를 구하는 것이 아니고 E[log f(v,h;u)|V)라는 복잡한 수식을 최대화하는 u를 구하는 것입니다. 그러나 생각보다는 쉬울 수가 있습니다. 먼저 기댓값 E는 선형함수라는 사실을 기억하시고요. 즉 E[aX+bY] = aE[X]+bE[Y] 라는 성질을 가지고 ..

오늘부터 EM 알고리즘에 관해 이야기를 좀 해보죠. EM 알고리즘을 소개한 Dempster 논문을 이해하기는 그리 쉽지 않습니다. 싶게 설명하려고 처음에 지수분포계열를 예를 들어 설명하는데 사실 통계전공이 아닌 사람은 지수분포계열 조차 잘 모르거든요. 하여간 통계학책에 나오는 EM 알고리..

1. 전산 알고리즘의 가장 기본적인 것은 특정 영역에서 최대값, 최소값을 찾는 알고리즘입니다. 함수 f가 정의역 D에서 정의된다면 함수 f가 최대가 되는, 또는 최소가 되는 정의역 D에 있는 점을 찾는 것입니다. 함수 f는 효용도 될 수 있고, 행복감도 될 수 있고, 또는 회귀방정식에서 길이..

이상하게 그룹 카테고리가 만들어지지 않네요. 당분간 PET 프로젝트 그룹에 쓰겠습니다. 여행하는 세일즈 문제를 시작해보죠. 이 문제는 유럽을 돌아다니는 영업사원이 n 도시를 돌아다니는데 가장 빠른 경로가 뭔지 찾는 문제입니다. 물론 제일 마지막 도시가 출발도시가 되죠. 말로는 ..

1. 지난번에 한번 이야기 한 적이 있는데 S(R)로 simulated annealing 알고리즘으로 여행하는 세일즈 문(TSP) 문제를 구현해서 올리겠다고 했습니다. 이게 Metropolis 알고리즘을 사용한 것이라 최근 MCMC 공부하는 출발점으로 중요하다고 생각하기 때문입니다. 한나절이면 되는데 그 마저 시간이 안..

1. 일반적 방법 1) inverse method Pr( FF(-1)(u)<F(b))=Pr(u<F(b)=F(b) 2) truncated u~U(F(b), F(a)) 3) accept - reject 4) importance sampling f/g; f는 target pdf, g는 proposal pdf, f와 관련없는 임의 x~g한 다음 f(x)/g(x) 구함 Pr(f(x)/g(x) < b)=Pr(f(x)/g(x)*g(x) <b) 흥미로운 생각 E[T(x)] , where x~f 는 E[T(x)*f(x)/g(x)] where x~g 와 같음 MCM..