편집
791
번
"정보와 엔트로피"의 두 판 사이의 차이
→정보 엔트로피와 정보량
| 9번째 줄: | 9번째 줄: | ||
=== 정보 엔트로피와 정보량 === | === 정보 엔트로피와 정보량 === | ||
섀넌의 정보 엔트로피는 특정한 정보 하에서 남게 되는 불확실성의 정도를 의미하며, 불확실성이 많을수록 더 높은 정보 엔트로피를 가지고 있다고 말한다. 특정 정보 하에서 남는 경우의 수가 N이고, 모든 경우의 확률이 1/N으로 동일할 때, 그 정보의 엔트로피는 <math>\log_2 N</math>으로 측정되고, 그 단위는 '비트'이다. 예컨대 동전 2개를 던지는 상황 하에서 얻을 수 있는 결과는 ‘앞앞’, ‘앞뒤’, ‘뒤앞’, ‘뒤뒤’ 4가지로, 이 정보 하에서 남게 되는 불확실성을 엔트로피로 표현하면 <math>2 (=\log_2 4)</math>비트가 된다. 이 상황에서 딱 1개의 동전이 앞면이라는 정보를 얻고 나면 ‘앞앞’과 ‘뒤뒤’의 경우는 제거되고 ‘앞뒤’, ‘뒤앞’이라는 2개의 경우가 남아, 그 엔트로피는 <math>1(=\log_2 2)</math>비트가 된다. 특정한 정보의 가치, 정보량은 | 섀넌의 정보 엔트로피는 특정한 정보 하에서 남게 되는 불확실성의 정도를 의미하며, 불확실성이 많을수록 더 높은 정보 엔트로피를 가지고 있다고 말한다. 특정 정보 하에서 남는 경우의 수가 N이고, 모든 경우의 확률이 1/N으로 동일할 때, 그 정보의 엔트로피는 <math>\log_2 N</math>으로 측정되고, 그 단위는 '비트'이다. 예컨대 동전 2개를 던지는 상황 하에서 얻을 수 있는 결과는 ‘앞앞’, ‘앞뒤’, ‘뒤앞’, ‘뒤뒤’ 4가지로, 이 정보 하에서 남게 되는 불확실성을 엔트로피로 표현하면 <math>2 (=\log_2 4)</math>비트가 된다. 이 상황에서 딱 1개의 동전이 앞면이라는 정보를 얻고 나면 ‘앞앞’과 ‘뒤뒤’의 경우는 제거되고 ‘앞뒤’, ‘뒤앞’이라는 2개의 경우가 남아, 그 엔트로피는 <math>1(=\log_2 2)</math>비트가 된다. 특정한 정보의 가치, 즉 정보량은 엔트로피의 감소폭으로 측정될 수 있는데, '딱 1개의 동전이 앞면'이라는 정보의 정보량은 <math>1 (=2-1)</math>비트가 된다. | ||
정보량은 배경지식에 상대적이다. 예컨대 어떤 건물에 8명의 사람이 있고 한 살인 사건의 범인이 그 안에 있다고 할 때(즉 엔트로피는 3비트), 만약 범인이 남자라는 새로운 정보는 어느 정도의 정보량을 지닐까? 만약 건물에 사는 사람이 모두 남자였다면, 그 정보의 입수에 의해 남게 되는 경우의 수는 여전히 8이고, 엔트로피를 하나도 줄이지 못하므로, 그것의 정보량은 0(=3-3)이다. 반면 건물에 사는 사람 중 절반이 남자라면, 새 정보에 의해 남는 경우의 수는 4로 줄어들고, 이때 엔트로피는 3비트에서 2비트로 1만큼 줄어든다. 즉 이 경우의 정보량은 1(=3-2)비트이다. 그런데 만약 건물에 남자가 1명뿐이라면, 범인이 남자라는 정보에 의해 남게 되는 불확실성은 완전히 제거되어, 이는 범인을 잡는 확실한 정보가 될 것이다. 이때 그 정보의 정보량은 3(=3-0)비트가 된다. | 정보량은 배경지식에 상대적이다. 예컨대 어떤 건물에 8명의 사람이 있고 한 살인 사건의 범인이 그 안에 있다고 할 때(즉 엔트로피는 3비트), 만약 범인이 남자라는 새로운 정보는 어느 정도의 정보량을 지닐까? 만약 건물에 사는 사람이 모두 남자였다면, 그 정보의 입수에 의해 남게 되는 경우의 수는 여전히 8이고, 엔트로피를 하나도 줄이지 못하므로, 그것의 정보량은 0(=3-3)이다. 반면 건물에 사는 사람 중 절반이 남자라면, 새 정보에 의해 남는 경우의 수는 4로 줄어들고, 이때 엔트로피는 3비트에서 2비트로 1만큼 줄어든다. 즉 이 경우의 정보량은 1(=3-2)비트이다. 그런데 만약 건물에 남자가 1명뿐이라면, 범인이 남자라는 정보에 의해 남게 되는 불확실성은 완전히 제거되어, 이는 범인을 잡는 확실한 정보가 될 것이다. 이때 그 정보의 정보량은 3(=3-0)비트가 된다. | ||