"정보와 엔트로피"의 두 판 사이의 차이

정보의 가치는 배경지식에 상대적이다. 예컨대 어떤 건물에 100명의 사람이 있고 한 살인 사건의 범인이 그 안에 있다고 할 때, 만약 범인이 남자라는 새로운 정보는 어느 정도의 가치를 지닐까? 만약 건물에 사는 사람이 모두 남자였다면, 그 정보의 입수에 의해 남게 되는 불확실성은 여전히 100이다. 반면 건물에 사는 사람 중 절반이 남자라면, 새 정보에 의해 불확실성은 50으로 줄어든다. 만약 건물에 남자가 1명뿐이라면, 그 정보에 의해 남게 되는 불확실성은 1로 줄어들게 되어 범인을 잡는 결정적인 정보가 될 것이다. 이때 정보의 가치는 불확실성의 감소율 또는 확실성의 증가율로 측정된다. 그러면 첫 번째 경우 범인이 남자라는 정보의 가치는 1배로 완전히 무가치한 반면, 두 번째 경우 그 정보의 가치는 2배이며, 세 번째 경우 그 정보의 가치는 100배에 달한다.

동일한 상황도 우리의 관심에 따라 다른 불확실성이 남게 된다. 공정한 동전 2개를 던지는 상황의 불확실성은 앞에서 4로 간주되었다. 그러나 우리가 동전 2개를 던질 때 나오는 앞면의 개수에만 관심을 가진다면, 그 가능한 결과는 ‘0’, ‘1’, ‘2’의 3가지뿐이다. 그럼에도 1이 나올 가능성은 0이나 2가 나올 가능성보다 높기 때문에, 이 상황을 단지 3가지 결과가 동등하게 가능한 상황만큼 불확실하다고 보긴 어려워 보인다. 그렇다면 그 불확실성의 크기를 어떻게 정하면 좋을까? 이때의 불확실성은 개별 결과가 지닌 정보적 가치의 기하 평균<ref>기하 평균 : x, y, z의 가중치가 a:b:c일 때(단 a+b+c=1), x, y, z의 기하 평균은 x^ay^bz^c이다. 만약 세 가중치가 같다면, x, y, z의 기하 평균은 <math>\sqrt[3]{x y z }</math>이다.</ref>으로 해석될 수 있다. 2개의 동전을 던질 때 앞면의 개수가 0인 결과는 미시적 관점에서 4배의 정보적 가치를 가지고, 1의 결과는 2배의 정보적 가치를, 2의 결과는 4배의 정보적 가치를 지닌다. 각 결과는 각각 0.25, 0.5, 0.25의 확률로 나타날 수 있으므로, 그것을 가중치 삼아 그 기하 평균을 구하면, 공정한 동전 2개를 던질 때 나올 앞면의 개수에 대한 불확실성은 4^0.25×2^0.5×4^0.25로 2가 된다. 이 값은 이 상황이 3개의 결과가 동등하게 불확실한 상황보다는 확실한 상황임을 말해준다.