Ockham's Razors: A User's Manual

Elliot Sober (2015), Ockham's Razors: A User's Manual. Cambridge University Press, Ch. 2.

두 가지 확률 철학

• 베이즈주의는 확률을 가설에 대한 합리적 믿음의 정도로서 정의하는 반면, 빈도주의는 확률을 빈도로서 정의하려 함.
• 베이즈주의는 가설에 확률을 부여하지만, 빈도주의는 못하는 경우가 많음.
• 베이즈주의적 확률은 주관적(확률은 합리적 주체의 마음 속에 있음)인 반면, 빈도주의 확률은 객관적(바깥 세계에 있음)
• 베이즈주의와 빈도주의는 과학의 목표에 대해 불일치
• 베이즈주의적 추론은 빈도주의자들이 바라는 객관적인 확률을 이용하여 수행될 수 있음. 문제는 그런 경우가 제한적이라는 것.
• 빈도를 통해 확률을 정의하는 일은 그렇게 만만치 않음.
• 두 진영의 인식론적 차이도 중요. 빈도주의는 확률에 "객관적 정당성"을 가지는 값을 부여하길 원하지만, 베이즈주의는 그것으로부터 자유로움. (소버는 이것이 둘을 구분하는 매우 중요한 차이라고 생각)

확률 기초와 베이즈주의의 기초

베이즈 정리 : P(H|E) = P(E|H)P(H)/P(E)

• 빈도주의는 베이즈 정리 자체를 문제 삼지 않음. 그들이 문제 삼는 것은 그것의 "유용성"임. 그들이 생각하기에, P(E|H), P(H), P(E)에 객관적인 값을 부여하는 것이 불가능한 경우들이 (많이) 존재하기 때문.

• 확률적 독립성 : $P(H\&J)=P(H)P(J)$
• 조건부 독립성 : $P(H\&J|C)=P(H|C)P(J|C)$
• 차폐 : Z가 Y로부터 X를 차폐한다.

  임의의 i, j, k에 대해 $P(X=i\&Y=j|Z=k)=P(X=i|Z=k)P(Y=j|Z=k)$

• 가능도주의 : 구체적인 두 가설 H1과 H2에 대해, 고립된 증거 E의 효력은 가능도에만 의존한다는 점에 착안. 가설의 확률을 비교하는 일은 포기하더라도 가설에 대한 증거의 효력을 가능도를 통해서만 비교하겠다는 목표를 가짐.
  • 사전 확률 의존 안함.
  • 기타 가설(catchall)에 대한 고려 필요 없음.
  • 사적인 베이즈주의에 비해 공적(public)인 성격을 가짐.
  • 베이즈주의에서 논란이 될 만한 부분들을 벗겨낸 약화된 베이즈주의.

소버의 입장 : 다원주의. 베이즈주의, 가능도주의, 빈도주의 모두 각자의 자리가 있음. 과학적 추론의 달성 가능한 목표는 문제마다 다름.

베이즈주의에서 오컴의 면도날이란

베이즈주의자들에게 단순성은 근본적인 토대가 되지 않음. 단순성이 인식적으로 유관하다면, 베이즈주의는 그것을 결국 가능도 또는 사전 확률을 통해 분석해야 함.

사전 확률과 단순성

두 가지 사전 확률

• 근본주의 : 최초의 사전 확률의 정당성 문제. 무차별의 원리 등의 시도. 그러나 수월하지 않음.
• 비근본주의 : 노이라트의 비유(완벽한 토대에서부터 시작할 필요 없고, 우리는 현재의 불완전한 출발점으로부터 점점 개선해나가면 됨) & 연역 논리의 비유(연역 논리가 전제에 대해 얘기하지 않듯, 베이즈주의도 전제, 즉 사전 확률에 대해 얘기해줄 필요가 없음) -> 이 비유들이 어떻게 활용될지가 분명하지는 않음.

제프리스의 단순성 가정

양립불가능한 무한한 수의 가설들에 사전 확률을 부여하는 법 고민 : 모든 가설에 같은 값을 부여하려고 하면 결국 각 가설에 0의 사전 확률을 부여하게 됨. 이를 피하려면, 동일하지 않는 값을 부여해야 함. 그래서 제프리즈는 각 가설들의 단순성에 따라 1/2, 1/4, 1/8, 1/16 ... 의 사전 확률을 부여하면 무한한 가설의 확률의 총합을 1로 만들 수 있음.

그가 고안한 한 가지 방법은 "조정 가능한 매개변수"의 수를 통해 단순성을 판정하는 것임. 그래서 LIN($y=a_{0}+a_{1}x$) 모델은 PAR($y=a_{0}+a_{1}x+a_{2}x^{2}$) 모델보다 단순. 그러나 매개변수에 구체적인 값은 부여한 L과 P는 단순성의 차이가 사라짐.

제프리스는 이것이 과학적 실천과 잘 맞는다고 정당화함. 그러나 Ackermann(1963)은 제프리스의 제안이 우리의 직관과 맞지 않는다고 지적. 소버는 그의 제안이 우리의 직관과 맞는다 하더라도, 그는 그러한 사전 확률 순서를 따라야 할 그럴듯한 이유를 제시하지 못했다고 비판. 또한 제프리스의 제안은 global함. 이는 가능한 모든 가설의 나열을 가정하고 있음. 그러나 이는 불가능.

제프리스의 제안은 고전적인 생각과 비슷하게 자연에 대한 가정을 하고 있음. 그러나 다소 온건함. 즉 그는 자연이 "아마도" 단순하다는 논제를 수용하고 있다.

제프리스의 가정에 대한 포퍼의 반대

포퍼에 따르면, LIN은 PAR에 포함됨. 왜냐하면 LIN은 PAR의 특수한 경우이기 때문. 따라서 LIN의 확률이 PAR보다 높을 수 없음! 이는 LIN을 포함하는 PAR 대신 LIN과 양립불가능한 PAR^*를 도입하면 해결됨.

• PAR^* : $y=a_{0}+a_{1}xa_{2}x^{2}$(단 $a_{2}$는 0이 아님)

그러면 LIN의 확률이 PAR*보다 높을 수 있게 됨. 그러나 LIN이 PAR*보다 높은 사전 확률을 부여받아야 한다는 가정이 그럴듯해지는 것은 아님. 왜냐하면 이는 마치 ($a_{2}$를 정하는) 다트를 던졌을 때 0이 아닌 곳보다 0에 맞을 확률이 더 높다는 말을 하는 것처럼 보이기 때문이다.

포퍼의 교훈 : 때로 단순한 이론은 복잡한 이론보다 논리적으로 강하다.

포퍼, 반증가능성, 승인

『과학적 발견의 논리』 7장에서, 포퍼는 단순한 이론일수록 반증가능성이 높다고 지적한다. LIN을 반증하기 위해 3개의 점이 필요한 반면, PAR를 반증하기 위해서는 4개의 점이 필요하다. 그러나 이러한 반증가능성의 정도는 어떤 인식적 유관성을 가지는가? 포퍼에 따르면, 반증가능성이 높은 이론일수록 더 많은 주장을 한다. 그리고 (다른 것이 같다면) 과학은 과감한 내용이 있는 주장을 하는 (논리적으로 강한) 이론을 높이 평가해야 한다. 이로부터 포퍼는 일반적인 믿음의 정도에 기반한 이론 평가가 아닌 승인의 정도(degree of corroboration)를 제안했었다.

$COR_{B}(H|E)={\frac {P_{B}(E|H)-P_{B}(E)}{P_{B}(E|H)-P_{B}(E\&H)+P_{B}(E)}}$

위의 승인의 정도는 크고 작은 문제에 노출되었었음. (예 : 무관한 연언의 문제)

소버의 진단과 해법 : 포퍼는 두 가설이 관찰은 함축할 때, 논리적으로 더 강한 가설이 논리적으로 더 약한 가설보다 "항상" 더 승인된다고 주장했으나, 이는 과도함. 다만 논리적으로 더 강한 가설이 "때로" "인식적으로" 낫다는 생각은 고수할 수 있음. (이 문제는 빈도주의에서 재고할 것임)

단순성에 대한 포퍼의 규정

반증가능성이 높을수록 단순하다는 포퍼의 생각은 때로 반직관적. (1) 명제 J를 LIN & P 라고 둘 때, J는 LIN보다 반증가능성이 높지만, LIN이 더 단순해 보임. (2) fair coin 가설과 같은 확률적 이론들은 모두 동등하게 무한히 복잡함. 왜냐하면 무한한 수의 자료에도 반증이 안 되기 때문. 그러나 이러한 결론은 불합리함.

만약 LIN과 PAR에 (종 모양의 확률 분포를 가지는) 오차 항 e을 추가하여 확률적 이론으로 수정해보자.

• $LIN_{e}:y=a+bx+e$
• <math<PAR_e : y=a+bx+cx^2 +e</math>

$LIN_{e}$와 $PAR_{e}$는 유한한 자료에 의해 반증 불가능하다. 그러나 둘의 복잡성은 분명히 다르다. 조정가능한 매개변수의 수는 $LIN_{e}$가 적으며, 오차 항은 모델을 무한히 복잡하게 만드는 것이라기보다는 그저 또하나의 매개변수처럼 보인다. 따라서 둘의 차이는 어째써 인식적으로 유관한지에 대한 질문이 떠오른다.

= 단순성과 non-first 사전 확률

침묵의 면도날은 확률적으로 쉽게 기술됨($P(H\&J)\leq P(J)$). 부정의 면도날은?

아래의 상황을 생각해봐.

• $P(e|H_{1})=P(e|H_{2})$
• $P(H_{1})>P(H_{2})$
• 그러면 $P(H_{1}|e)>P(H_{2}|e)$
• 즉, 다른 것이 같다면, 사전 확률이 높은쪽 선호. (즉 두 질병으로부터 나올 확률이 같은 증상으로부터 우리는 우선 둘 중에 더 흔한 질병을 의심해야)

이것이 단순성과 무슨 상관인가? 수잔이 결핵에 걸렸다는 가설이 수잔이 X에 걸렸다는 가설보다 "낫다"는 주장을 변호하는 데 누군가가 오컴의 면도날에 호소하는 것을 상상할 수 있음! 더 흔한 질병이라는 점에서 전자의 가설이 더 단순하다. 당신은 이 가설로 증상을 설명할 수 있기 때문에, 보다 esoteric한 가설을 필요로 하지 않음. 여기서 "더 큰 단순성"은 "더 높은 사전 확률"의 의미로 사용(non-first 사전 확률로서).

그런데 중요한 것이 사전 확률이라면 왜 면도날을 언급하는가? 소버의 답 : 이런 오컴의 면도날 용법을 경고하는 데 유용하기 때문. 단순성을 이유로 "e를 설명하는 데 B가 꼭 필요치 않다면, 우리는 A만 가정해야 한다"고 주장하는 것은 때로 잘못된 논변. 중요한 것은 A와 A&B의 (non-first) 사전 확률!

즉 단순성에 대한 얘기는 때로 (non-first) 사전 확률에 대한 주장의 대리물임.

가능도와 단순성

가능도와 공통 원인

통합성은 오컴의 면도날의 중요한 주제. 소버의 주장 : "때로" 더 적은 수의 원인을 가정하는 가설이 더 높은 가능도를 가짐. 즉 오컴의 면도날은 때로 가능도에 의거한 정당성을 가짐. 다양한 사례 : 두 학생의 동일한 과제물. 일치한 두 목격자의 증언. 갑자기 불이 꺼진 두 전구. 무대 위 여러 배우의 갑작스런 중독 증세(두 사건 토큰(token)이 같은 속성을 가짐). 항상 동시에 솟구치는 두 간헐온천(두 사건 유형 사이에 연합(association)이 있음).

한스 라이헨바흐의 공통 원인의 원리 : 일어날 법하지 않은 우연의 일치가 일어나면, 반드시 공통 원인이 존재한다.

일어날 법하지 않은 우연의 일치 : "두 사건이 서로 확률적으로 독립적이었다면 일어날법하지 않은 정도의"

(association vs. correlation : 확률적 의존성 vs. 빈도적 의존성)

공통원인 및 세 가지 가정을 할 때, P(X&Y)>P(X)(Y) 쉽게 도출됨(라이헨바흐의 정리). 그러나 correlation으로부터 공통원인을 도출하는 것은 후건 긍정의 오류가 됨. 그렇다면 보다 온건한 주장은 정당화 가능할까? 베이즈주의적으로 재구성할 때, 우리는 온건하게 correlation이 공통 원인 모델의 '증거'인지 물을 수 있다. 약간의 문제 있음. association과 correlation의 구분 때문에 생기는 문제.

조심해야 할 문제 : 동일 과제물 사례와 간헐 온천 사례. SC 모델 만들 때 어려움 있음. 동일 과제물 사례의 경우, 두 과제 사이의 iid 가정 어려움. 과제 내 단어들 사이의 연관성도 고려해야. 즉 과제물의 경우 일부 문장의 동일성은 표절이 아니더라도 단어들 사이의 연관에 의해 나타날 수 있기 때문.

공통 조상 문제 : CC 모델과 SC 모델에서 각 개별 형질의 가능성 일치시킴(ceteris paribus). 그러면 여러 형질의 일치에 대한 CC의 가능도는 SC의 가능도보다 훨씬 높아짐. 그러나 (돌고래와 상어가 모두 어뢰와 비슷한 형태를 가지고 있는 것처럼) 동일 환경에 의해 유도되는 동일 형질도 있지 않은가? 따라서 (비적응적인) 무용한 형질을 고려하는 것이 좋은 전략이 될 수 있음. (예: 인간과 원숭이가 공유한 꼬리뼈. 두 과제물의 동일한 오타)

단 이러한 접근법은 결정론적인 원인의 경우에는 적용되지 않음.

때로 가능도 부등식은 뒤집어질 수 있음. 즉 관찰된 유사성은 공통 원인 가설에 반대되는 증거를 제공하기도 함!  : (1) 두 부모가 무조건 1딸1아들씩만 낳는다고 가정하면, 특정 세대의 두 개체가 여성이라는 공통점은 오히려 둘이 부모를 공유하지 않음을 알려줌. (2) 과거 영국에서는 장자에게만 재산을 상속함. 따라서 두 남자가 모두 매우 엄청난 부자라는 것은 둘이 형제가 아니라는 증거를 제공. (3) 3번 가정[(x-a)와 (y-b)가 같은 부호이다]과 관련된 사례. 두 직원 모두 일에서 불행. 그렇다면 이는 두 직원이 같은 사장을 공유한다는 증거? X와 Y의 성향이 달라서, X는 엄격한 사장 밑에서 불행할 확률이 높아지지만, Y는 엄격한 사장 밑에서 불행할 확률이 낮아진다면, X와 Y의 불행은 둘이 다른 사장 밑에서 일한다는 증거를 제공. (4) 7번 가정과 관련된 사례.

결론 : 때로 공통 원인 가설은 개별 원인 가설보다 높은 가능도 가짐. 그러나 그렇지 않은 경우도 있음. 단순성이 인식적으로 유관한지, 그리고 어떻게 유관한지는 개별 문제의 배경 가정에 의존함.

"비존재 주장"으로서의 오컴의 면도날. 공통 원인 가설에 대한 가능도 정당화는 "(비)존재 주장"으로 오컴의 면도날을 규정하는 것이 왜 잘못된 것인지를 설명해줌. 공통 원인 설명은 하나의 원인을 가정하고 개별 원인 설명은 둘을 가정하는 것처럼 보인다. 그러나 어쩌면 공통 원인 설명은 하나의 공통 원인을 가정하는 반면, 개별 원인 설명은 아무런 공통 원인도 가정하지 않는 것으로도 해석될 수 있다. 그렇다면 우리는 원인의 수를 세야 하는가? 공통 원인의 수를 세야 하는가? 인식적 분석 없이는 함부로 말할 수 없다.

베이즈주의적 오컴의 면도날

두 가설의 가능도 비율 차이를 이용한 정당화.

ONE과 SEVEN은 조정가능한 매개변수의 차이로도 이해 가능.

무차별의 원리를 이용한 사전 확률 부여. 또는 한계 확률 이용한 정당화 가능.

토론

• 확률만이 단순성을 정당화할 수 있는 유일한 접근법인가?
• 연구의 효율성 등의 방법론적 효율성과 인식적 정당성과의 연관성은 구분?