편집
791
번
"정보와 엔트로피"의 두 판 사이의 차이
→열역학에서의 엔트로피
| 6번째 줄: | 6번째 줄: | ||
원래 엔트로피 개념은 자연적 과정의 비가역성을 이해하기 위해 도입되었다. 향수병의 뚜껑을 열면 향기가 사방으로 확산되지만, 확산된 향기가 향수병 속으로 되돌아가는 일은 일어나지 않는다. 그 이유는 향수 입자들이 넓게 퍼져 있는 거시 상태는 향수 입자가 향수병 속에 모여 있는 거시 상태보다 훨씬 많은 수의 미시 상태와 대응되기 때문이다. | 원래 엔트로피 개념은 자연적 과정의 비가역성을 이해하기 위해 도입되었다. 향수병의 뚜껑을 열면 향기가 사방으로 확산되지만, 확산된 향기가 향수병 속으로 되돌아가는 일은 일어나지 않는다. 그 이유는 향수 입자들이 넓게 퍼져 있는 거시 상태는 향수 입자가 향수병 속에 모여 있는 거시 상태보다 훨씬 많은 수의 미시 상태와 대응되기 때문이다. | ||
우리는 거시 상태에 대응되는 미시 상태의 수 를 계에 대한 불확실성의 척도로 이해할 수도 있다. 예컨대 2개의 동전을 던질 때, 앞면의 개수가 2개라는 정보를 획득하면 각각의 동전이 어떤 상태인지 정확히 특정할 수 있지만, 앞면의 개수가 1개라는 정보만으로는 각 동전의 상태를 완벽하게 알 수 없다. 즉 | 우리는 거시 상태에 대응되는 미시 상태의 수 W에 로그를 취한 <math>\log W</math>를 계에 대한 불확실성의 척도로 이해할 수도 있다. 예컨대 2개의 동전을 던질 때, 앞면의 개수가 2개라는 정보를 획득하면 각각의 동전이 어떤 상태인지 정확히 특정할 수 있지만, 앞면의 개수가 1개라는 정보만으로는 각 동전의 상태를 완벽하게 알 수 없다. 즉 <math>\log W =0</math>(즉, W=1)인 거시 상태에 대해 우리는 그 미시 상태를 확실하게 알 수 있지만, <math>\log W</math>가 커질수록 그 계의 미시 상태는 불확실해진다. 섀넌은 <math>\log W</math>의 이러한 특성을 활용하여 정보 엔트로피라는 개념을 제안한다. | ||
=== 정보 엔트로피와 정보량 === | === 정보 엔트로피와 정보량 === | ||