엔트로피 단상

 

pressian(pressian.com)에 물리학 교수가 볼쯔만의 엔트로피에 관한 책을 하나 추천했네요. 프레시안이 진보매체죠. 좀 답답하죠. 제는 후원회원이라 한달에 만원씩 나가고 있습니다. 지난번 통진당 사태때 여기도 지랄을 해서 그 때 후원 끊을려고 했는데 귀찮아서...

 

하여간 이 물리학 교수가 기존에 엔트로피에 관한 유명한 책을 쓰레기 같은 책이라고 혹평을 했네요. 대중저술가가 과학 책을 쓰면 이런 일이 많이 생기죠. 이쪽 인공지능에서 볼쯔만 머신이라고 있으니까 간단하게 엔트로피에 대해 간단하게 이야기 한번 할게요.

 

 

엔트로피가 여러 분야에 나옵니다. 이 교수 이야기로는 전통 물리학통계역학, 그리고 정보학에서 그리고 무지(ignorance) 개념으로 사용되고 있다고 합니다. Shannon의 엔트로피까지는 아는 분들이 많지만 무지의 개념으로서 엔트로피를 아는 분은 드문데...

 

 

이 무지의 엔트로피 개념은 Jaynes의 엔트로피라고 이야기 할 수 있습니다. 몇 년전에 돌아가신 물리학 교수인데 이 분을 추종하는 빠들이 몇 명 있고요. 그리고 이분 개념을 받아드려 베이지안에 적용한 사람들을 entropic 베이지안이라고 합니다. 비주류 중에 생 비주류죠. 저도 이쪽 라인인데 솔직히 뭔지 모릅니다.

 

 

엔트로피는 분포에 대해 어떤 값을 주는 것입니다. 공식은 알 필요가 없고요. 그런데 분포가 평평할수록 엔트로피가 커집니다. 분포가 한 값에 치우쳐 뽀족할수록 엔트로피 값이 낮아지고요. 그래서 균등분포일 때 엔트로피 값이 가장 커집니다. 분산 개념과 비슷하다고 보면 되는데 분산, 또는 표준오차는 전문용어로 측정 스케일에 불변하지 않다는 심각한 단점이 있고요. 그래서 흔히들 엔트로피를 불확실성을 측정하는 값이라 알려져 있습니다. 경제학에서 불평등을 측정하는 지니 계수말고 이 엔트로피로 측정하자는 사람들도 있고, 또 통계학에 의사결정 트리에서도 이 엔트로피 개념을 사용하기도 합니다.

 

 

정보학에서 나오는 엔트로피를 새논(Shannon)의 엔트로피라고 합니다. communication 이론에 나오는 개념입니다. 커뮤니케이션에 나온다고 해서 이게 사회과학의 신문방송쪽이 아니고 공학의 통신 분야입니다. 새논이 물리학에 나오는 엔트로피를 이 통신분야에 응용해서 나온 것이 아니고 통신 분야에서 메시지가 전달될 때 이 메시지의 청보량을 측정하는 함수를 구하려고 했는데 몇 개의 지켜야 할 공리를 먼저 세운 다음 이 공리를 만족하는 함수를 구하였습니다. 그 결과 나온 공식이 물리학의 엔트로피 공식과 일치하여서 이것을 Shannon의 엔트로피라고 합니다.

 

예를 들어 두 개의 독립적인 메시지가 있다고 하면 이 두 개의 메시지의 정보량을 측정하는 함수 f는 다음을 만족해야 합니다.

 

f(메시지1* 메시지2)=f(메시지1)+f(메시지2)

 

이런 여러 가지 조건을 만족하는 함수 f를 구한 것이죠. 위 조건을 만족하는 함수는 log 함수밖에 없습니다. 하여간 위의 내용은 엄밀한 것이 아닙니다. 개념을 쉽게 설명하기 위해서 쓴 겁니다. 이 새논의 엔트로피가 더 발전해 cross 엔트로피가 되고 이걸 또 다른 말로 쿨백 넘버라고 합니다. EM 알고리즘을 설명할 때 머신 러닝분야에서 이 쿨백 넘버로 설명한 것을 본 적이 있습니다.

 

 

이 개념을 문학 해석하는데도 사용하는 모양입니다. 아마 러시아의 코모고르프 등이 했던 모양인데 진중권이가 이쪽 얘들 책을 번역해서 석사논문을 쓴 모양입니다. 번역이 논문이 아니죠. 이런 얘가 방방 뜨는 것 보면, 참...

 

하여간 진중권이가 이 Shannon의 엔트로피를 Shanon과 Weaver의 엔트로피라고 해서 웃은 적이 있는데요. Shannon의 엔트로피라고 하지 Sahnon과 Weaver의 엔트로피라고 하지 않습니다. 처음 Shannon의 이 개념을 발표하고 그 다음에 Shannon과 Weaver가 이 개념에 대해 책을 썼습니다. 유명한 책이죠. 그러나 여기서는 Weaver는 그냥 Shannon의 엔트로피를 쉽게 설명하는 내용만 앞 부분에 썼을 뿐입니다. 진중권이가 책 내용도 보지도 않고 책 저자만 보고 한심한 소리를 한 거죠. 자기 논문도 이렇게 허술하게 쓰는 얘가 뭘 제대로 아는 것이 있어서 떠드는지 모르겠습니다.

 

문학쪽에서 어떤 식으로 적용했는지는 잘 모르겠지만 아마 이런 것이 아닐까 싶습니다. 해석이 다양하게 되면 엔트로피가 높고 오로지 하나의 해석만이 가능하면 엔트로피가 낮다 이런 것이 아닌가 싶습니다. 예를 들어 구호같은 표현은 해석이 다양하게 되는 것이 불가능하죠. 그럼 엔트로피가 낮은 것이죠. 중의적 표현이라면 다양하게 해석이 되고 그럼 엔트로피가 높아지는 것이고요.

 

 

최근 홍대 앞의 일베 조각이 문제가 되었죠. 한마디로 시민사회에 대한 폭력이죠. 이 조각의 해석은 딱 하나입니다. 일베의 남근화입니다. 다르게 해석이 될 수가 없죠. 작가의 의도는 그냥 거짓말이거나 아니면 자기 의도를 구현 시킬 수 없는 작가의 창조적, 예술적 상상력, 능력 부족이든가.

 

 

작기의 의도와 이게 사회에 받아지는 것은 전혀 다른 것입니다. 이미 오래 전에 이청준의 언어사회학 서술의 떠도는 말이라는 소설에서 이미 언급하고 있죠. 말이 자기 입 밖으로 나가면 자기 의도랑 다르게 이미 사회적 맥락을 지니고 떠돌아 다닙니다.

 

오마이 뉴스에서 오랜 만에 이 일베 조각에 대한 제대로 된 비판이 나온 것 같습니다. 홍대 미대 출신이 쓴 모양인데 용감하고 잘 지적한 것 같습니다. 한국 사회에서 홍대 미대의 기득권 위치를 언급해서면 더 좋았을 것 같았다는 느낌이 들었습니다. 한마디로 홍대 미대는 자기들이 한국 사회에서 최고 기득권이기 때문에 일반 시민이 뭔 욕을 해도 눈 하는 까닥 안 한다는 것이죠. 도시에 큰 건물이 있으면 그 앞에 조각들이 많이 보이죠. 큰 건물 앞에 미술 작품을 설치해야 한다는 것이 법으로 되어 있습니다. 그래서 이런 미술, 특히 조각하는 사람들과 시공업체나 공무원들이 서로 짜고 해 먹는 것이죠. 하여간 예술 이런 쪽에서 일베 쪽에 가까운 인간들이 많습니다. 권력에 붙어 먹어 콩고물 노리는 것이죠.

 

 

Shanon의 책을 보면 이미 현재 인공지능의 자연어 처리의 기본 개념들이 나옵니다. 예를 들어 ‘학교에’라는 말이 나오면 뒤에 나오는 말은 ‘간다’ 계통의 말이 대부분입니다. 다른 말이 나올 가능성이 거의 없죠. 이러면 엔트로피가 낮아지는 것이죠. 그러나 ‘음식을’이라는 말이 나오면 ‘먹다’, ‘치우다’, ‘버리다’, ‘차리다’ 등 다양한 표현들이 뒤에 올 수 있습니다. 그럼 엔트로피가 높아지는 것이죠.

 

햐여간 이 새논의 엔트로피가 쉽게 이해가 되지 않죠. 일반인이 생각하기에 정보가 많으면 불확실성이 줄어들고 정보가 없으면 불확실성이 커지기 때문에 반대로 생각을 한다는 것이죠. 저는 통신 쪽을 전혀 모르기 때문에 이 Shanon의 엔트로피가 왜 중요한지 잘 이해가 되지 않았고요.

 

 

무지의 측정으로서 엔트로피는 아는 사람들이 별로 없고요. jaynes 교수가 통계역학에 나오는 분포들을 ‘주어진 정보하에 엔트로피를 최대화’하는 방법으로 그냥 한 쿠에 다 도출을 합니다. 이 놀라운 발견을 물리학 저널에 내려고 했는데 물리학회에서 다 거부를 했고요. 그래서 할 수없어 정보학회지에 이 논문을 실었다고 합니다.

 

물리학계에서 왜 거부를 했을까요.

 

미시세계의 현상들의 분포는 우리가 관찰하거나 측정하지 못해도 물리학계에서는 실재하는 존재로 보는 것이거든요. 그러나 Jaynes 교수 이야기는 실재하는 것이 아니고 우리가 가지고 있는 정보 하에서 나오는 추론의 결과인 가상적인 것으로 본 것입니다.

뭔 말인줄 잘 모르겠죠. 예를 하나 들어 보죠. 우리가 어떤 특정 지역에서 남녀의 비율에 대해서 이야기 해보죠. 우리가 특정한 정보가 없다면 남녀 비율이 대등하게 0.5:0.5의 비율로 있다고 생각할 겁니다. 그럼 균등분포이니까 엔트로피가 가장 큰 것이죠.

 

그러나 남아 선호 사상이 강한 사회라서 남자대 여자의 전체 인구 비율이 0.6:0.4 정도된다는 정보를 가지고 있다면 이 특정 지역에서는 남녀 분포 비율이 0.6:04 정도 될 거라고 생각할 겁니다. 여기서 더 나가 이 지역이 백화점이라고 하죠. 그럼 우리가 경험상 여자가 남자보다 훨씬 많다고 생각할 수 있을 겁니다. 즉 0.3:0.7, 또는 0.2:0.8까지 생각할 수 있을 겁니다. 이렇게 정보가 들어오면 엔트로피가 점점 작아집니다. 더 나아가 백화점 일층이라고 하면 남자대 여자의 비율은 0.1:0.9까지도 생각할 수 있습니다.

 

이 이야기가 뭘 말하냐면 정답은 없다는 것입니다. 정답이 아니고 우리가 가지고 있는 정보 하에서 최선의 판단을 한다는 것이 중요하다는 것이죠.

 

주어진 정보가 있으면 무지, 즉 엔트로피를 최대화한다는 이야기는 주어진 정보하에서 생겨날 수 있는 다양한 경우를 고려해야 한다는 이야기입니다. 그래야 엔트로피가 커지는 것이죠. 하나의 경우에 일방적으로 추종해서 결론을 내지 말고 여러 가지 나올 수 있는 가능성, 즉 확률이 낮다고 해도 그 가능성을 배제하면 안된다는 것이죠. 이렇게 다양한 가능성이 많아 제대로 판단이나 행동을 할 수가 없다면 중요한 문제인 경우 이 문제에 관련된 정보(relevant information)들을 충분히 구해야 한다는 것이죠.