Error, Tests, and Theory Confirmation
- Worrall (2010), Error, Tests, and Theory Confirmation
Mayo and Spanos (eds.) (2010), Error and Inference, Ch.4, "Theory Confirmation and Novel Evidence"에 수록된 글로 이 뒤에 바로 Mayo의 코멘트가 실려 있다.
1. 워럴의 핵심적인 문제의식은 뒤엠식 전체론이 야기하는 문제에도 불구하고 경쟁하는 연구 프로그램에 대한 차별화된 뒷받침이 Use-Novel한 경험적 증거에 의해 가능하다는 것을 보이는 것이라 할 수 있다.(e.g., 파동론과 입자론의 대결에서, 이중슬릿 실험은 입자론보다 파동론에 더 많은 지지를 제공한다.)
2. 그러나 Use-Novelty 조건 혹은 No-Double-Use 조건(가설 구성에도 사용된 자료가 증거로도 사용될 수는 없다)은 여러 반례가 존재한다. (i) 이중슬릿 실험 결과는 빛의 파장을 계산하는 데 사용된다. (ii) 표본 자료는 신뢰구간 가설을 세우는 데 사용된다. (iii) 학생들의 SAT 성적 자료는 학생들의 평균에 대한 가설을 세우는 데 사용된다. 이 모든 경우에서, 자료로부터 가설을 얻는 추론은 (배경 원리를 전제할 경우) 연역적으로 타당하기 때문에, 이때 사용된 자료는 분명 가설에 대한 증거까지 제공하며, 이는 UN 조건에 대한 반례를 제공한다.
연역적 도출이 가능한 이유는, 가능한 가설이 놓인 광활한 공간에서 배경 원리는 가능한 가설의 종류를 제한해주는 동시에 T1, T2, T3, ... Tn 식으로 체계적으로 나열할 수 있게 해준 상태에서, 자료가 제한된 가설 중에서 하나만 고르고 나머지 가설을 제거해주기 때문이다. 워럴도 강조하다시피, 가설을 제한해주는 배경 원리 없이는, 증거로부터 가설을 연역적으로 도출한다는 것은 불가능한 일이다. 이는 매우 중요한 통찰로 보인다. 나머지 가설을 확실하게 없애고 가설의 유일성을 보장하려면 배경 원리가 전제되어야 한다는 것.
3. 워럴은 앞의 반례들을 엄밀히 보면, 그 연역적 추론 과정에 배경 이론(일반적인 파동 이론, 표준 통계 절차, 평균의 의미)이 전제되어 있기 때문에, 가설 구성에 사용된 자료 e가 배경 원리에 대해서는 전혀 증거를 제공하지 못한다고 말하며, 또한 그 자료 e가 가설에 증거를 제공하는 것 역시 배경 원리의 참을 전제로 한 조건부 증거일 뿐이라고 말한다. 만약 배경 원리의 참에 대한 독립적인 증거가 없을 경우, 조건부 증거의 딱지는 제거될 수 없다고 말한다.
W + e -> W' : 이중슬릿 자료 e는 일반적인 파동 이론 W를 전제로 빛의 파장이 구체화된 파동 이론 W'에 대한 조건부 증거를 제공하며, W 역시 독립적인 증거를 가지고 있기 때문에, e가 W'에 제공하는 증거에서 조건부 딱지를 뗄 수 있다.
V + e -> V' : 벨리코프스키식 (성서적) 사건에 대한 기록이 없는 문화권의 자료 e는 벨리코프스키 이론 V의 참을 전제로 그 문화권의 집단 기억 상실이 첨가된 버전의 벨리코스프스키 이론 V'에 대한 조건부 증거를 제공하지만(여기까진 위와 똑같음), V가 독립적인 증거를 가지고 있지 않기 때문에, e가 V'에 제공하는 증거에서 조건부 딱지는 뗄 수 없다.
가능한 반론 : V를 전제해도 e로부터 V' 따라나온다고 보기 어렵다. 따라서 V'은 V를 전제하든 안 하든 엄격한 시험을 통과한 것으로 보기 어려울 것이다.
워럴은 어떤 자료가 일반적인 이론 또는 배경 원리가 비조건부 증거를 제공하기 위해서는 (i) UN 조건(e.g., W'을 구성하는 데 사용되지 않았던 단일 슬릿 자료 e'는 W'에 대한 독립적 시험을 제공) 또는 그와 사실상 동일한 중복결정(overdetermination) 조건(n개의 자료가 있고 parameter를 계산하는 데 r개의 자료가 필요하다면, 나머지 n-r개는 UN prediction이 됨. 자료의 일부는 이론 구성에 사용, 다른 일부는 이론 정당화에 사용되므로, use와 evidence 중복되지 않음)을 만족하는 자료이거나 (ii) 그 이론의 자연스러운 귀결이어야 한다고 주장한다(e.g., 행성의 역행운동은 코페르니쿠스 이론의 자연스러운 귀결이기 때문에 주전원을 사용해야 했던 프톨레마이오스 이론보다 코페르니쿠스 이론에 더 많은 뒷받침을 제공. 왜? 코페르니쿠스 이론의 참을 전제로 행성의 역행운동동이 산출되지 않는 보조가설을 만드는 것은 가능하긴 하더라도 억지스럽기 때문).
UN 조건을 논외로 하더라도, '이론의 자연스러운 귀결'로서의 증거는 상당히 정당화하기 어려운 조건으로 보임. 사실 코페르니쿠스 이론도 역행 운동을 설명하기 위해서는 안쪽 행성이 바깥쪽 행성보다 주기가 빠르다는 보조가설을 전제해야 한다. 또한 프톨레마이오스 이론도 일종의 UN을 생각할 수 있다. 예를 들어, 우리는 주전원의 도입 과정에 대해 역행 운동만을 설명하기 위해 도입한 주전원이 행성이 밝기 변화까지 설명해줄 수 있었다고 상상할 수 있기 때문이다(하나의 가설이 여럿을 동시에 설명할 수 있는 경우, 우리는 그에 대해 항상 UN 또는 중복결정을 상상할 수 있다.) 프톨레마이오스 이론보다 코페르니쿠스 이론이 역행 운동을 더 자연스럽게 설명했다는 이유를 찾는 것보다는, 오히려 코페르니쿠스 이론의 UN을 찾는 것이 현실적일 것이다. 역행 운동을 설명하기 위해 태양을 행성 운동의 중심으로 옮겼더니, 내행성의 최대이각도 동시에 설명되고, 관측 자료에 맞추어 각 행성의 궤도 크기와 궤도 주기를 확정하고 나면, (이전에는 관측을 통해서만 확정할 수 있었던) 각 행성들이 보이는 역행 운동의 크기, 역행 운동의 간격, 화성의 엄청난 밝기 변화, 외행성이 역행할 때마다 항상 태양 반대쪽에 있을 것이란 점 등등을 (관측 없이도) 예측할 수 있었으니, 이 모든 것들을 일종의 Use-Novel Evidence로 볼 수 있을 것이다. 실제로 코페르니쿠스와 케플러는 이런 종류의 증거를 매우 중요하게 간주했으며, 쿤은 이를 코페르니쿠스 체계의 "조화"로 이해했다. 즉 단일한 가정으로 여러 현상이 조화롭게 설명된다는 것. 그러나 Use-Novelist의 관점에서 보면, 그 조화들은 모두 Use-Novel Evidence의 일종이 된다.
요컨대, 워럴에 따르면, 증거는 조건부 증거와 비조건부 증거로 나뉘며, 각각이 증거가 되는 이유가 다르다. 조건부 증거는 자료가 배경 이론(또는 일반적인 이론) 내에서 가설을 (유사) 연역적으로 도출하기 때문에 증거가 되는 것이지만, 비조건부 증거가 증거가 되는 것은 "No Miracle Argument" 덕분이다.
4. 모든 증거를 '엄격한 시험(이론이 거짓이라면 통과하기 어려운 시험)'의 통과로 간주하는 메이요에 대해서는 비판적이다.
이론적 난점 1. 메이요가 반례로 제시한 SAT 평균 사례의 경우 "test" of "hypothesis"로 보기 어려우며, P(T is false)=0이므로 P(T passes the Test | T is false)의 값은 정의 불능인 것 아니냐는 지적.
실제로, 메이요의 확률은 많은 사람들을 오해시키며, 표기법만으로는 다양한 해석이 가능하다. 그럼에도 메이요의 의도대로 해석할 경우, 메이요가 제시한 확률은, 만약 학생들의 SAT 점수 평균이 1121이 아니었더라도 그런 자료가 나올 가능성이 있었는지를 생각해보면 된다. 그럴 경우, 그 가능성은 0이므로, 메이요의 관점에서, 평균 가설은 최대로 엄격한 시험을 통과했다고 할 수 있다. 워럴은 메이요의 사고 방식을 전혀 이해하지 못하고 있는 것 같다.
이론적 난점 2. 사용 구성된 가설은 '무조건' 가설 구성에 사용된 자료와 잘 맞기 마련이라는 직관으로부터 사용 구성되 가설이 엄격한 시험을 통과할 수 없다는 것으로 나아가는 추론에 대해, 메이요는 '무조건'을 '(a) 어떤 자료가 나오든'과 '(b) 가설이 참이든 거짓이든' 두 가지로 구분하여, 사용 구성된 가설에 대해 (a)는 참이지만, 그로부터 자동으로 (b)가 따라나오는 것이 아니기 때문에 사용 구성된 가설도 경우에 따라서는 엄격한 시험을 통과할 수 있다고 주장했다. 그리고 대부분의 UN론자들이 (a)의 참으로부터 (b)의 참이 따라나온다고 착각하고 있다고 말했었다. 워럴은 이 지면에서 이 메이요의 논변을 반박하고 있는데, 애초에 메이요의 논변을 이해하지 못하고 있는 듯하다.
워럴의 핵심적인 지적 : 조건부 증거와 비조건부 증거는 분명히 구분되어야 하며, '엄격한 시험'만으로는 증거 판단에 무리가 있다. 예컨대 벨리코프스키의 이론을 전제하면, 기록이 없는 문화권의 자료는 집단 기억 상실 버전의 벨리코프스키 이론에 대해 증거를 제공하며, 이는 엄격한 시험을 통과한 것으로도 볼 수 있다. 문제는 엄격성의 여부가 아닌, 조건부의 여부인 것이다.
SAT 자료는 학생 평균 가설에 증거를 제공하지만, 평균의 정의에는 증거를 제공하지 않고, 천왕성 자료는 (뉴턴 이론을 전제로) 새로운 행성이 추가된 버전의 뉴턴 이론을 뒷받침하지만, 일반 뉴턴 이론 자체에는 증거를 제공하지 않는다. 만약 이런 종류의 증거를 엄격한 시험으로 간주한다면, 메이요는 엄격성을 판단하는 데 배경 원리가 전제되어 있음을 인정하는 것이 된다. 반면, 이를 엄격한 시험으로 간주하지 않고, 배경 원리에 대한 엄격한 시험까지 요구한다면 메이요는 SAT 사례나 신뢰구간 사례도 엄격한 시험으로 간주하지 말아야 할 것이다.
물론 메이요는 잘 확립된 배경 원리가 전제된다면 그 경우에만 엄격한 시험으로 인정한다고 대응할 수 있을 것이다. 그러나 워럴에 따르면, 이런 버전의 주장은 워럴의 얘기와 흡사한 것이 되며, 또한 조건부 증거와 비조건부 증거의 중요한 차이를 희석시켜 버릴 위험이 있다고 한다. 어떻게?
워럴을 이해하려면 다음과 같은 논의가 필요할 것으로 보인다. 예를 들어, SAT 사례나 신뢰구간 사례는 잘 확립된 배경 원리를 전제로 이루어지니 엄격한 시험으로 인정받을 수 있을 것이다. 그렇다면 천왕성의 사례는 어떨까? 천왕성의 관측 자료는 천왕성 바깥에 새로운 행성이 있다는 가설에 증거를 제공할까? 한편으로, 당시 뉴턴 이론은 이미 독립적 시험이 이루어진 나름 잘 확립된 이론이었기 때문에, 천왕성 바깥에 새로운 행성이 있다는 가설은 엄격한 시험을 통과한 것으로 볼 수 있다. 그러나 만약 뉴턴 역학 자체를 의심한다면? 천왕성의 관측된 이상한 궤도는 뉴턴 역학 자체를 의심할 이유를 제공하기도 했기 때문에, 그 상황에서 해왕성이 정말 관측되기 전까지 뉴턴 역학은 잘 확룁된 이론으로서의 지위를 상실했다고도 볼 수 있으며, 그렇게 되면, 천왕성 관측 자료는 아직 새로운 행성의 존재에 대해 좋은 증거를 제공한다고 보기 어렵게 된다. 이런 상황에서, 천왕성 관측 자료와 새 행성의 존재에 대한 가설 사이의 관계는 하나의 증거 개념으로 파악하기보다, 조건부 증거와 비조건부 증거로 나누어 보는 것이 유용하다는 것이다.
메이요라면 어떻게 대응할까? 아마도 메이요는 조건부 증거의 존재에 대해 인정할 수 있을 것이다. 그러나 조건부 증거라도 그것이 왜 증거가 되는지를 판단하려면 엄격성의 잣대가 필요하다고 말할 것이다. 그렇기에 그는 워럴이 만들어낸 가상의 벨리코프스키 사례에 대해 (벨리코프스키 이론을 전제하더라도) 엄격한 시험을 통과하지 못한 것으로 간주할 것이다. 기록 부재에 대해 집단 기억 상실 말고도 다양한 대안 가설이 가능하기 때문이다.
사실 워럴은 조건부 증거에 대해 자료가 배경 원리와 함께 가설을 연역적으로 도출하는 너무 단순한 경우만 사례로 사용하고 있다. 그보다 다소 복잡한 경우도 상상해볼 필요가 있다. 배경 원리를 전레하더라도 엄밀한 연역이 아닐 경우, 그것의 (조건부) 증거 여부에 대해 어떻게 판단할 것이다. 조건부 증거 내에서도 정도의 차이가 있을 수 있으며, 우리는 그에 대해 '엄격성'을 거론할 수 있을 것이다.
반면 메이요는 비조건부 증거에 대해 어떻게 생각할까? 워럴의 경우 use-novel 예측의 성공은 모두 비조건부 증거가 될 것이다. 그러나 메이요는 그러한 성공 중에서도 엄격한 시험의 통과로 보기 어려운 사례를 찾을 수 있을까? 사실 메이요식 엄격성 판단은 (메이요가 인정할지 모르겠지만) 대안가설에 대한 상상과 관련되어 있다. 그러나 아무런 배경 원리도 전제하지 않을 경우, 대안 가설은 아무런 제약을 받지 못하게 된다. 따라서 만약 '비조건부 증거'라는 것이 존재한다면, 그것에 대해서는 엄격성을 전혀 판단할 수 없을 것이다. 만약 이것이 맞다면, 비조건부 증거와 조건부 증거의 근본적 차이를 주장한 워럴의 주장에 손을 들어주게 되는 것일까? 내 잠정적인 견해는, 비조건부 증거는 사실 그 강도나 질에 대해 분석하기 어려운 이상한 종류의 증거라는 것이다. 생각하는 것처럼 '강력한' 증거와는 거리가 멀다는 것이다.
내 견해로는, 엄격성은 오히려 조건부 증거 또는 확립된 배경 원리를 전제로 조건부 딱지를 뗀 조건부 증거에서나 가능한 얘기이며, 비조건부 증거와는 매우 상관이 없어 보인다.