행렬, 고유값(eigenvalue), 다변량 통계

 

1. 들어가면서

 

행렬, 고유값, 통계, 특히 다변량분석과의 관계에 대해서는 몇 편의 글을 써야 할 것 같네요. 글 하나로는 부족할 것 같고요. 들어가기 전에 먼저 언급할 사항은

 

 

1) 2차원에서는 원, 타원, 그리고 3차원에서 생각하면 구, 타원체(럭비공 모양)에 대해 이야기 할 겁니다. 따라서 여기에 관련돤 수학을 이야기 할 것이고요. 이차원, 즉 x, y 두 변수만 있는 경우 원과 타원을 설명할 겁니다. 3차원, x, y, z 3개의 변수가 있는 경우 자연스럽게 구와 타원체(럭비공)으로 확대해서 상상하시면 됩니다.

 

 

2) 둘째 정규분포의 모양을 가지고 설명할 겁니다. 따라서 정규분포의 식에 대해서 미리 보시는 것이 좋습니다. 두 개의 변수 x, y가 있는 경우 이변량 정규분포(bivariate normal)의 경우 이 정규분포의 모습 f(x,y)는 산 모양과 비슷합니다. 그걸 상상하시고 우리는 이 산 모양을 중간에서 싹뚝 자르는 모양을 이야기 할 겁니다.

 

즉

 

f(x,y)=k

 

로 놓고 이것을 만족하는 (x,y) 모습을 상상하시면 됩니다. contour라고 하는데. 하여간 어렵게 생각하시지 말고 후지산을 중간에서 수평으로 싹뚝자르고 그 단면을 보겠다는 것입니다. 그럼 원 모양이나 x, y 축에 각각 평행인 타원체 모양이 되겠죠.

 

 

 

2. 원과 타원, 정규분포와의 관계

 

그래서 정규분포의 모양과 1)의 원과 타원의 식과 연관이 됩니다.

 

원의 식은 다 아시다 시피 단위원일 경우

 

x^2 + y^2 = 1

 

이 되고 타원인 경우

 

x^2/a + y^2/b = 1

 

이 됩니다. 여기서 a와 b가 정규분포에서 x의 분산, b가 y의 분산이 되고 각각 공분산행렬의 eigenevalue, 고유값라는 것을 아시게 될겁니다(맞나? 확인을 안해봐서, 나중에 문제가 있으면 수정하겠습니다. 아마 맞을 겁니다. 일하기 바빠서). 즉 타원형을 행렬로 표시하면

 

 

 

 

 

 

가 됩니다. 당연히 원일 경우

 

 

 

 

 

 

 

이 될 겁니다.

 

이런 모양을 quadratic form이라 합니다. 일반적인 형태로 간단하게 

 

x'Ay

 

로 씁니다. 다른 말로 bilinear 함수라고도 하고요. 원과 타원식을 이렇게 행렬로 표시할 줄 알아야 다변량 이론 책을 보실 수 있습니다.

 

 

 

 

 

3.

 

우리나라에 어떤 정책을 도입할 때 앞으로 어떻게 진행될지 잘 모르면 다른 나라에서 이미 실행한 경험이 있는 경우 그 나라의 경우를 예로 듭니다. 즉 다른 나라에서는 이러이러 했으니까 우리나라는 이렇게 될 것이다. 이렇게 논조를 많이 폅니다. 즉 우리나라에서 앞으로의 진행 상황을 잘 알 수 없으니까 다른 나라에 가서 그 나라에서 진행방향을 보고 다시 우리나라로 돌아와 이렇게 될 것이다. 이런 이야기를 한다는 것이죠.

 

이게 수학에서 많이 사용되는 고급기법입니다. 실수공간이나 시간 공간에서 잘 모르면 이걸 복소수 공간이나 주파수 공간으로 넘어가서 거기서 진행상황을 본 다음 다시 실수공간으로 넘어와 이렇게 저렇게 될 것이다. 이런 이야기를 한다는 것이죠. 대표적인 것이 Laplace나 Fourier 변환이 대표적인 것이죠.

 

실수공간에서 미분방정식이 잘 안풀어지면 Laplace 변환을 해 복소수에서 놀다가 다시 실수공간으로 돌아오는 것이죠. 또는 주가를 이동평균(moving average)하면 잡음이 사라져 부드럽게 변하는 것도 Fourier 변환을 해 주파수가 변하는 것을 보고 알 수 있다는 것이죠. 포토샵 같은 프로그램도 이 Fourier에 변환을 이용한 것들이 많이 있을 겁니다. 이미지 프로세싱의 주 이론 중의 하나가 이 Fourier 변환 이론이거든요.

 

 

 

마찬가지로 행렬도 이런 개념을 많이 사용합니다. 복잡한 행렬이 있으면 여기서 노는 것이 아니라 다루기 쉬운 공간, 즉 다루기 쉬운 행렬세계로 보낸 다음 다시 돌아온다는 것이죠. 이 다루기 쉬운 행렬 세계가 바로 대각행렬(diagonal matrix)입니다.

 

 

우리의 문제의 경우 타원형이 x와 y 축 방향으로 평행하게 있지 않고 45도 각도로 삐딱하게 놓여져 있으면 이걸 회전시켜 x와 y 축 방향으로 평행하게 만들겠다는 이야기입니다. 타원형이 삐딱하게 있으면 이때 행렬모양은 복잡하지만 이걸 회전시켜 양 축에 평행하게 만들면 위의 구나 타원형의 경우처럼 이젠 대각행렬 모양으로 편한 모양으로 변합니다.

 

 

 

 

4.

 

확률분포와 우도함수이야기에서 데카르트가 축을 도입하여 기하물체에다 값을 주는 바람에 실제가 사라졌다는 이야기를 했죠. 이젠 이 이야기를 또 한번 하겠습니다.

 

 

두 개의 실체적인 물리적 공간 A, B가 있다고 하죠. 그럼 현상적으로 이 두 공간이 인과관계에 의해 연결이 되어 있다고 하죠. 그러나 이 인과관계를 우리가 표현할 수 없습니다. A 공간의 이 점이 B 공간의 이 점과 연결되고 있고, 또 A이 다른 점은 B의 다른 점과 연결되어 있고, 이런 식으로 계속 말로 할 수 밖에 없죠. 이거 불가능한 일이죠. 그래서 우리가 A와 B 공간에 원점을 잡고, 좌표축을 도입하여 A는 x1, x2 좌표, B는 y1, y2 좌표를 잡고 이제 이 물리적 관계를 수학적으로 표현한다는 것이죠. 이 관계가 선형적인 관계이면 이게 행렬로 표시가 됩니다.

 

그럼 우리가 좌표축을 잡는 방법에 따라서 A와 B 공간의 실체적 점의 값이 달라지고 따라서 이 관계를 표현하는 수학적 표현(representation)인 행렬의 모양이 다 달라질거라는 것이죠.

 

 

 

여러분 멀리 어떤 고정된 한 점이 있다고 하죠. 그 점의 물리적으로 고정되어 있지만 여러분이 움직이기 시작하면, 여러분의 눈을 원점으로 하고 좌표축을 새로 만들면 이 물리적으로 고정된 점의 값은 계속 변한다는 것이죠. 즉 프레임이 계속 바뀝니다.

 

하나의 주어진 선형 물리적 현상에 대해서 이 현상을 잡는 좌표축에 따라 수학적으로 표현하는 행렬은 수없이 많이 있다는 것이죠. 그럼 불변적인 물리적 현상과 마찬가지로 이 수많은 행렬 표현에서도 공통적으로 가지고 있는 어떤 고유한 값이 있을까요 하는 문제가 생깁니다.