고정효과와 확률효과에 대한 약간 현학적 설명: permutaion, shuffling operator

 오늘은 혼합모형에서 나오는 고정효과와 확률효과에 대한 약간 현학적인 이야기를 조금 써 볼까 합니다.

 

너무 수학적으로 생각하지 말고 약간 새로운 세계를 느끼는 정도로 읽어 주면 좋겠습니다.

 

사실 일반인에게 수학은 계산입니다. calculus라고 하죠. 그러나 조금만 올라가면 이런 계산 수학은 하지 않습니다. 그래서 제가 현학적이라고 이야기했지만 약간 고등수학을 배운 분에게는 초보적인 내용입니다.

 

 

먼저 예를 하나 들어 보죠.

 

편의점에서 일하는 알바생의 인식에 대해서 조사를 한다고 하죠.

 

먼저 서울에 있는 편의점을 무작위로 10개를 뽑습니다.

 

또 하나는 편의점을 크게 3개로 나눠 주택가 3곳, 아파트 단지 3곳, 번화가 4곳 이렇게 편의점을 뽑아 알바생의 인식에 대해 조사한다고 생각하죠.

 

첫 번째와 두 번째는 분석에서 매우 중요한 차이가 있습니다. 첫 번째는 편의점 10개 각각의 특성에 대해서는 전혀 관심이 없습니다. 그러나 2번째는 각 지역 특성마다 알바생 인식이 어떻게 다른지 큰 관심 문제가 될 수 있습니다.

 

그럼 이미 짐작을 했겠지만 첫 번째의 경우는 편의점 변수는 랜덤효과를 보는 것이고, 두 번째 편의점 변수는 고정효과를 보는 것입니다.

 

코딩도 첫 번째는 (1, 2, 3, 4, 5, 6, 7, 8, 9, 10) 이렇게 각각의 편의점에 각 숫자를 부여하는 것이고, 두 번째는 지역특성에 따라 (1, 1, 1, 2, 2, 2, 3, 3, 3, 3) 이렇게 코딩한다는 것이죠. 그래서 1은 주택가 편의점, 2는 아파트 편의점, 3은 번화가 편의점 이렇게 해석된다는 것입니다.

 

 

계량경제학에서도 패널회귀분석에서 고정효과와 랜덤효과라는 용어가 나옵니다. 이 패널회귀분석에서는 패널데이타임을 먼저 선언을 해야 합니다. 패널데이타는 subject와 time 변수가 있는데 이걸 먼저 선언을 해야 합니다. subject는 회사, 산업, 국가 등 다양하게 있을 수 있습니다.

 

사회과학에서는 패널데이타는 통상 정부기관에서 만드는데 여기서 subject는 개인이 됩니다. 동일한 개인을 시간에 따라 계속 추적해서 조사를 한다는 것이죠. 그래서 시간에 따라 동일한 사람에 따라 반복측정을 하기 때문에 흔히 이야기하는 독립성이 보장이 안됩니다. 그래서 반복측정분산분석이나 혼합모형을 사용해야 합니다.

 

하여간 계량경제학에서는 고정효과모형이나 랜덤효과모형이나 결정할 때 Hausman test라는 기술적인 방법을 씁니다. 즉 이 검증을 통과하는가 아니간에 따라 고정효과모형을 쓸지 랜덤효과모형을 쓸지 결정이 됩니다.

 

 

 

그러나 사회과학에서 이 고정효과와 랜덤효과는 앞에서 설명한 것과 같이 즉 상식적이고 논리적인 판단입니다.

 

이걸 수학적으로 명쾌하게 정의할 수 없을까요?

 

 

여기에서 permutation 이나 shuffling 같은 섞음, 또는 비슷하게 rotation 같은 회전이라는 연산자(operator) 개념이 나옵니다.

 

아마 대부분 분들은 섞는다는 용어가 수학적인 개념으로도 사용된다는 것을 처음 알았을 겁니다.

 

결론적으로 이야기해서 permutation이나 shuffling 연산에 대해 분석 목적이 무관(invariant)하다면 이건 랜덤효과이고 그렇치 않다면 고정효과입니다.

 

 

 

이 개념을 고도리 예를 들어서 설명하겠습니다.

 

고도리를 칠 때 판에 깔린 패들을 마음대로 섞어버렸고 게임의 승부에는 아무런 관계가 없습니다. 즉 무관합니다.

 

또 어떤 것이 있을가요.

 

자기가 손에 가지고 있는 패를 마음대로 섞어도 게임 승부와는 아무런 관계가 없습니다. 고도리 칠 때 이런 짓 많이 하잖아요.

 

그 뿐 아니라 자기가 딴 패들도 마음대로 섞어도 게임 승부와는 무관합니다. 흔히 광 따로 껍질 따로 이렇게 모양좋게 많이들 바꾸죠.

 

그래서 이런 경우 고도리 게임 승부는 판에 깔린 패의 섞음, 자기가 가진 패의 섞음, 또는 자기가 딴 패의 섰음이라는 연산자에 무관하다고 합니다.

 

이와 반대로 내 패를 상대방 패와 바꾸면, 상대방은 또 다른 상대방 패와 바꾸고 이러면 이땐 게임의 승부는 완전히 달라지죠.

 

이 경우 고도리 게임의 승부는 게임 참가자들간 패의 섞음에는 무관하지 않다고 합니다.

 

 

그럼 편의점의 경우로 돌아가 보죠. 첫째 경우 임의로 10개의 편의점을 추출하고 여기에 1, 2, ..., 10으로 코딩하죠. 이 코딩을 마음대로 섞습니다. 즉 3, 5, 1, 7,... 이렇게요, 이렇게 마음대로 섞어도 분석 목적은 달라지지 않습니다. 우리의 분석 목적은 각 편의점의 특성을 파악하는 것이 목적이 아니기 때문입니다.

 

이럴 경우 랜덤효과를 사용합니다.

 

이와 반대로 2 번째 경우 주택 편의점=1, 아파트 편의점=2, 번화가 편의점=3 이렇게 코딩했는데 누가 와 가지고 이 코딩값을 마구 섞어버린다고 하죠. 즉 주택편의점=2, 아파트 편의점=3, 번화가 편의점=1 이렇게 섞어 버린다고 하죠. 그럼 최종 분석 결과를 보고 전혀 엉뚱한 해석을 해 버린다는 것이죠.

 

원래 1에 해당하는 것은 주택 편의점 경우인데 이게 섞은 후 실제 결과는 번화가 편의점에 해당하는 것입니다. 그래서 번화가 편의점의 특성을 주택 편의점의 결과로 잘못 해석을 한다는 것이죠.

 

그래서 분석 목적이 섞음이라는 연산에 대해 심각한 영향을 받기 때문에 이럴 경우 고정효과로 사용을 합니다.

 

사회과학에서 나오는 패널데이터는 subject가 개인이라고 했죠. 이런 개인들이 몇 천명, 몇 만명이 될 수 있습니다. 그럼 이 개인들에게는 id라는 변수를 주고 1 부터 숫자를 매겨 코딩을 한다는 것이죠. 이 주어진 숫자를 마음대로 바꾸어도 분석의 목적에는 전혀 영향이 없습니다. 그래서 이 id는 랜덤효과로 처리를 해야 한다는 것이죠.

 

 

 

연산자는 아마 많이들 들어봤을 겁니다. 고등학교 수학 시험에 자주 나오죠. 우리가 어릴 때 배운 +, x 이런 것들 다 연산자입니다.

 

여기서 집합(set)과 공간(space)을 좀 구별해야 합니다. 또 같은 집합이라도 위에 나온 연산자나 또는 다른 수학적 구조가 들어가면 다른 공간이 됩니다.

 

예를 들어 집합 A={1, 2, 3}과 공간 S={{1, 2, 3}, +}는 전혀 다른 개념입니다.

 

여기서 1+3=4는 집합에 속해 있지 않기 때문에 새롭게 정의를 해야 합니다. 즉 1+3=1, 2+3=2, 3+3=3 이렇게 +라는 연산자를 새로이 정의를 해야 합니다.

 

 

우리가 정말 이해하기 힘든 아인스타인의 시공간 개념도 수학적으로는 매우 간단합니다. 단지 현상으로서 이해가 안되어서 그렇죠.

 

아인스타인의 시공간에서는 metric, 또는 거리 개념이 다릅니다. 흔히 우리가 이야기하는 3차원 공간 (x, y, x)에 시간이라는 다른 차수를 더 넣으면 4차원 공간이 됩니다.

 

그럼 아인스타인의 공간 S={(x, y, z, t), d} 여기서 d는 distance로 거리 개념인데 이 거리 개념이 우리가 알고 있는 거리개념이란 다른다는 것이죠.

 

 

영화에서 우리가 흔히 외계어 같은 느낌을 주는 수학 표현을 자주 보죠. 이런 것이 다 이런 특수한 연산자와 수학적 구조가 들어간 공간을 표시하고 이런 공간들 간의 어떤 관계를 추구하는 것입니다.

 

그러나 수학에는 정말 수 많은 세부 분야들이 있거든요. 그래서 이 모든 것을 다 알 수가 없죠. 또 응용분야에서도 자기들만의 이상한 공간을 정의해서 사용한다는 것이죠.

 

그래서 이 이상한 외계어 같은 수학 표현을 봐도 쫄 필요가 전혀 없습니다. 그냥 앞에서 설명한 이런 것들을 한다고 보시면 됩니다.

 

예를 들어 정말 엄청난 수학 대가도 화투장 집합과 고도리 승부에 관련해서 섞음 연산자를 처음 들으면 엄청 헷갈릴겁니다. 화투장이나 고도리에 대해서 전혀 모르기 때문이죠.

 

 

 

이와 비슷한 현상이 또 무엇이 있을까요.

 

원이나 구 같은 것이 있을 수 있습니다. 구와 원은 아무리 회전을 해도 모양이 전혀 변하지 않습니다. 이런 경우 구와 원은 회전에 대해 무관(invariant)하다고 합니다. 회전뿐만 아니라 shift(translate, affine transformation)에 대해서도 무관하다고 할 수 있습니다.

 

구의 경우 x2+y2+z2=r 이죠.

 

그럼 왼쪽 항은 행렬로 표시할 수 있습니다. w=(x, y, x)라고 하면

 

 

 

 

이런 모양을 quadratic 이라고 합니다. 이 경우 안의 행렬을 보면 마치 공분산이나 상관계수 행렬이랑 비슷합니다. 즉 x, y, z가 서로 독립인 경우 상관계수 행렬이 된다는 것이죠.

 

그래서 통계 프로그램에서 혹시 sphere라는 말을 보면 이 독립적인 경우 공분산이나 상관계수 행렬로 이해하시면 됩니다.

 

 

이에 반해 타원은 회전을 하면 다른 타원형 물체가 되죠. 그래서 회전에 무관하다고 할 수 없죠. 그러나 모양은 달라지도 뭔가 본질적으로 타원형이라고 할 수 있죠.

 

그럼 이런 본질적인 것이 뭔가 이런 생각을 할 수 있다는 것입니다.