형식주의

스튜어트 샤피로, "형식주의: 수학적 진술은 무엇이든 의미하는가?", 『수학에 관해 생각하기』, 이기돈 옮김 (교우, 2022), 6장.

발제 : 정동욱

형식주의에 따르면, 수학의 본질은 문자(기호)의 조작에 있다. 수학은 문자 및 문자의 조작 규칙이 주어지면 끝일 뿐, 그것 이상을 다루지 않는다. 수학의 역사에서는 해석하기 곤란한 기호들(음수, 무리수, 초월수, 허수 등)이 꾸준히 도입되어 왔으며, 형식주의는 그에 대한 도피처가 될 수 있다. 복수수(예 : 2+i)란 무엇인가? 형식주의자들은 그에 대해 직접적으로 답하지 않은 채, "복소수를 나타내는 기호는 실수와 똑같은 규칙들(의 대부분)에 따라 조작되어야 하고, 그것이 전부라고 말한다."

기본 견해들

이름 형식주의

이름 형식주의에 따르면, 수학은 기호와 기호 조작 규칙(구문론적 문법)에 관한 것이다. 일반적인 언어 기호들과 달리, 수학의 기호들은 다른 무언가를 가리키지 않고, 기호 그 자체를 의미할 뿐이다. "사과"는 사과를 가리키고, "정동욱"은 정동욱을 가리키지만, "2"는 2를 가리키지 않고 단지 "2"를 가리킨다. 즉, 이름 형식주의에서는 이름이 의미가 구별되지 않는다.

다만 서로 다른 종이에 쓰여진 수많은 기호들이 동일하게 취급되기 위해, 이름 형식주의는 기호의 토큰보다는 기호의 유형을 다룬다고 말해야 할 것이다. 그러나 수학이 이러한 유형들을 다룬다고 말하는 것이 수 실재론에 비해 어떤 장점이 있는가? 이름 형식주의에서 말하는 수(기호의 유형)의 토큰들이 실재론에서 말하는 수의 토큰보다 훨씬 간단하다. 그러므로, 우리는 그 접근 가능한 토큰들을 통해 수에 대해 알 수 있고, 그것이 존재한다고 쉽게 말할 수 있다.

그러나 이름 형식주의에서, "5+7=6+6"의 등식이 말하는 '5+7'이 '6+6'과 동일하다는 것은 무슨 의미인가? 이름 형식주의는 좌변과 우변이 가리키는 수에 호소하여 동일성을 해석할 수 없으며, 그렇다고 좌변과 우변의 기호가 같은 유형이라고 말할 수도 없다. 가능한 해석 중 하나는 '5+7'이 등장하는 어떠한 수학적 문장이라도 그 문장의 '5+7'이 '6+6'으로 진리값 변동 없이 대체될 수 있음을 의미한다는 것이다. 이런 식의 해석은 정수와 유리수까지 확장 가능하다.

이름 형식주의에는 어려운 문제들이 남아있다. 첫째는 실수 문제이다. 대부분의 실수는 𝜋와 같은 이름을 갖지 않으며, 무한한 소수 전개와 동일시하는 것도 쉬운 일이 아니다. 둘째는 명제 문제이다. 앞에서 겨우 해결한 것은 수학적 계산들을 어떻게 기호에 관한 것으로 말할 수 있는지일 뿐, 수학적 명제들을 어떤 의미에서 기호들에 관한 것이라고 말할 수 있는지는 한 발도 떼지 못했다.

게임 형식주의

게임 형식주의에 따르면, 수학은 기호를 이용한 게임이며, 그 기호들은 수학적 해석을 가지지 않는다(cf. 이름 형식주의에서는 수학이 그 기호에 관한 것이라고 말한다). 게임 형식주의는 수학에 대한 형이상학적, 인식론적 문제들을 해결하거나 회피한다. 수학은 주제-대상을 가지지 않는다. 수나 집합은 존재하지 않거나(급진적 게임 형식주의) 존재하지 않는 것이 낫다(온건한 게임 형식주의). 수학적 지식이란 게임의 규칙에 관한 지식 또는 그 규칙에 부합하는 결과가 있다는 지식이고, 수학적 정리란 규칙에 부합하는 어떤 게임 결과를 나타낸다. 이때 수학의 기호들은 무언가를 가리키지 않는다. 즉, 게임 형식주의자에게 숫자 "2"는 수 2를 가리키지 않는다. 수학에서 중요한 것은 기호와 그 기호의 게임 내 역할뿐이다. 게임 형식주의자는 수학적 표현에 부여된 의미의 발견법적, 심리적인 역할을 인정하더라도, 그러한 의미 부여가 수학 자체와는 관련이 없다고 말할 것이다.

게임 형식주의의 가장 큰 어려움 중 하나는 수학의 응용(적용) 가능성 문제에서 온다. 수학이 단지 (인위적으로 고안된) 게임에 불과하다면, 수학은 과학에서 왜 그렇게 유용한가? (이는 과학에 대한 도구주의자들이 겪는 어려움과 비슷하다. 과학 이론이 실재와 무관한 예측 도구에 불과하다면, 어떻게 그렇게 예측에 성공적일 수 있는가?) 형식주의자의 표준적인 답안은 응용은 수학의 일부가 아니라는 것이다. Thomae에 따르면, 수학의 규칙들은 아마도 적용을 위해 채택되었겠지만, 그러한 적용은 수학 그 자체와는 관련이 없으며, 왜 그런 규칙을 채택했는지는 수학자들이 답할 문제가 아니다. 그러나 프레게에 따르면, 이런 답은 문제를 해결하는 것이 아니라 문제를 다른 과학자들에게 떠넘기는 것일 뿐이며, 그 문제가 누군가에 의해 답해야 한다는 것은 여전히 남아 있다. 또한 프레게에 따르면, 수학의 응용 범위는 지극히 광범위하다. 따라서 그 답은 개별 과학들과 독립적으로 제시되어야 할 것이다.

연역주의: 힐버트의 『기하학의 기초』

게임 형식주의에 대한 프레게의 비판은 연역주의의 출발점이 된다. 수학-게임들은 왜 하필 그러한 규칙들을 채택했는가? 프레게에 따르면, 예컨대 산술과 같이 성공적인 분야에서, 그 게임의 규칙들은 임의적일 수 없다. 적어도 그것은 논리적 귀결들을 만들어내야 한다. 연역주의는 이러한 프레게의 통찰을 이어받는다. 즉 연역주의에 따르면, 그 언어가 어떻게 해석되든 상관없이, 공리들이 참이라면 정리들은 같은 해석 하에서 참이어야만 한다. 다만 연역주의는 게임 형식주의자들과 마찬가지로, 수학적 이론의 규칙(공리)들이 임의적인 규약들일 뿐이라고 주장한다(if-then-ism). 수학은 무엇에 관한 것인가? 아무것도 아니거나 아무것도 아니어도 무방하다. 수학적 지식이란 무엇인가? 수학적 지식은 일종의 논리적 지식인데, 즉 무엇으로부터 무엇이 따라나오는지에 대한 지식이다. 수학은 어떻게 응용 가능한가? 그 공리들을 참으로 만드는 해석을 발견함에 따라.

연역주의의 핵심적인 동기는 n차원 기하학, 비유클리드 기하학 등 19세기-20세기 초 기하학의 발전에서 왔다. 또한 수학에서 엄격함 및 공리화에 대한 관심, 특히 연역을 내용과 독립적으로 이해하는 것에 대한 관심이 연역주의에 기여했다. 이로부터 형식적으로는 엄격하되 내용적으로는 (특히 직관으로부터) 자유로움을 추구하는 수학자들이 등장했고, 그 정점에 데이비드 힐버트가 있었다.

힐버트의 『기하학의 기초』는 몇 가지 측면에서 중요하다. (1) 직관이 기하학에서 쫓겨났다. 직관과 (그림에 대한) 관찰은 기하학에서 발결법적 보조 역할만 할 뿐, 필수적이지 않다(사다리 걷어차기). 이제 공리들이 만족되는 한 무엇이든 점, 선, 면 등의 정의되지 않는 원초용어의 역할을 할 수 있게 되었다. 중요한 건 그 용어들 사이의 관계들뿐이며, 그 관계들의 완전하고 정확한 기술이 기하학의 공리들의 귀결로서 만들어진다. (2) 공리와 정의가 구별되지 않는다. 그에 따르면 "… 우리는 그 과학의 기초 아이디어들 사이에 내재하는 관계들에 대한 정확하고 완전한 기술을 포함하는 공리들의 체계를 수립해야만 한다. 수립된 그 공리들은 동시에 그 아이디어들의 정의들이다." (3) 힐버트는 공리들의 형식적 체계에 관해 이러저러한 것들, 특히 공리들 사이의 양립가능성이나 공리들의 독립성을 증명하는 데 힘을 쏟았다. 즉 힐버트는 메타수학이라는 새로운 분야를 열었다(메타수학은 주제 대상을 가진다).

이러한 모습은 힐버트와 프레게의 중대한 차이를 보여준다. 프레게는 힐버트식의 공리화에서 공리 내 용어들이 먼저 정의되어 있지 않다는 점에 불만을 표시했다. 반면에 힐버트는 용어들 사이의 관계를 기술하는 공리를 통한 용어에 대한 기능적 정의만으로 충분하다고 생각했다. 용어들은 독립적인 정의가 아닌 서로의 관계에 의해서 상호 정의되며, 성공적 정의는 구조를 포착한다. 프레게는 공리들의 참은 직관적으로 보장되고, 공리들이 참이면 공리들이 서로 일관적이라는 것을 증명할 필요가 없다고 생각한 반면, 힐버트에게 공리들은 임의적인 규약일 뿐이기 때문에, 그 공리들이 그것들의 모든 귀결들과 함게 서로 상충되지 않음을 보증할 필요가 있다. 그리고 공리 집합의 일관성이야말로 수학의 정당한 분야를 구성하기에 충분한 조건이 된다. 수학에서 '참'이나 '존재'에 관한 진술들은 모두 이 일관성의 다른 표현일 뿐이다. 한편, 프레게는 공리 집합의 일관성을 수립하는 유일한 방법은 그 공리 집합을 만족하는 모형을 제공하는 것이라고 생각한 반면, 힐버트는 모형에 의존하지 않는 방법을 마련하고자 했다.

유한주의: 힐버트 프로그램

힐버트 프로그램은 수학의 위기(특히, 러셀의 역설에 기초한 집합론의 일관성에 대한 의심 등)에 대한 대응으로, "수학적 방법의 확실성을 단번에 확립하"기 위한 기획으로서, 연역주의, 이름 형식주의, 게임 형식주의를 결합한 메타수학이었다. 그 핵심은 (1) 수학의 각 분야에 대한 엄격한 형식화와 (2) 그 형식적 체계의 일관성에 대한 검토에 있었다.

이 프로그램의 가장 중요한 출발점은 "유한 산술(finitary arithmetic)"이었다. 유한 산술은 자연수를 주제 대상으로 가진다. 유한 산술의 주장들은 일차적으로 자연수와 술어들로 이루어진 논리 및 문장들(예 : 2+3=5; 2^10000+1은 소수이다)을 포함하며, 이 문장들은 그것들이 참인지 계산하는 알고리즘이 있다는 의미에서 효과적으로 결정가능하며 유한적이다. 그러면 양화된 변항이 포함된 문장들(예 : (1) 100보다 크고 101!+2보다 작은 소수인 수 p가 있다; (2) p와 p+2가 모두 소수인 100보다 큰 수 p가 있다.)은 어떨까? 힐버트에 따르면, 유계 [존재] 양화사만이 있는 문장들(1)은 그것들이 참인지 계산하는 알고리즘이 있다는 의미에서 효과적으로 결정가능하며 유한적이다. 그러나 무계 [존재] 양화사가 포함된 문장(2)은 그렇지 않다.

존재 양화와 보편 양화를 구별할 때, 힐버트는 보편 양화 문장(a+b=b+a)은 유한적이지만(왜 유한적인지는 불명확하지만, 아마도 원초 회귀 산술에 호소하는 듯), 그것의 부정(a+b≠b+a)은 무계 [존재] 양화 문장으로서 유한적이지 않다고 보았다. 힐버트에 따르면, "a가 숫자 기호라면 a+1=1+a가 보편적으로 참이다라는 진술은, 우리의 유한적인 관점에서는 부정될 수 없다."

유한 산술은 무엇에 관한 것인가? 유한 산술의 주제-대상은 자연수이며, 그것이 무엇인지 묻는다. 칸트를 따라, 힐버트는 수학이 결코 논리로 환원되지 않으며, 유한 산술이 (논리적 연역을 비롯해) 모든 사고의 선결 조건이 무엇인가에 관계한다고 주장했다. 그리고 유한 산술의 주제 대상을 "기호 그 자체'로 제안하면서, 자연수들을 수 기호(예. : |, ||, |||, ||||, …)와 동일시할 것을 제안했다. 그리고 기호 사용 및 기호 조작은 (인간의) 모든 추론에 필요하다. 그런 의미에서, 유한 산술은 인간적 차원에서 최대의 확실성을 가진다.

유한 산술을 넘어서는 영역은 무계 [존재] 양화사들을 포함하는 자연수들에 관한 진술로 구성되는데, 힐버트에 따르면, 실해석학, 복소해석학, 기하학, 집합론 등은 여기에 있으며, 이를 '이상 수학'이라고 불렀다. 결국, 힐버트는 수학을 유한 산술(이름 형식주의에 가까운)과 이상 수학(게임 형식주의에 가까운)으로 구분했다. 단 이상 수학에는 작은 제한이 있다. 이상 수학은 유한 산술에 유용해야 한다. 이상 수학은 신뢰할 수 없는 유한적 진술에 대응하는 식을 유도하기 위해 사용할 수 없다. 그래서 이상 수학의 임의의 이론 T의 형식적 체계는 유한 산술의 보수적 확장이어야 한다. 형식화된 이론 T가 '0=0 또는 0≠0'과 같은 모순을 유도하는 것이 불가능할 때, T는 일관적이라고 하자. 그러면 T의 보수성은 그것의 일관성과 동치이며, 그래서 이상 수학의 필요조건은 일관성이다.

힐버트 프로그램의 마지막 단계는 형식화된 수학적 이론들에 대한 유한적인 일관성 증명을 제공하는 것이다. 그러나 이 마지막 단계가 문제가 된다.

불완전성

"T의 구문이 효과적(effective)이다"는 말을 "주어진 문자들의 연쇄가 문법적인 식인지 아닌지 판정하는 알고리즘, 그리고 주어진 식들의 연쇄가 T 내의 합당한 연역인지 아닌지 판정하는 알고리즘이 있다"는 의미라고 하자. 괴델은 T의 언어 내에 다음을 만족시키는 문장 G가 있다는 것을 보였다: T가 𝜔-일관적이면 G[의 진위]를 아무리 해도 결정할 수 없다. 이를 괴델의 제1 불완전성 정리라고 한다. G는 유한적인 진술로, 대략 "G가 T에서 증명될 수 없다"는 진술의 형식화이다. 그래서 T가 일관적이면, G는 참이지만 증명될 수 없다. 이러한 괴델의 결과는 수학 (또는 산술) 전체에서 단일한 형식적 체계를 발견하려는 힐버트의 (비공식적) 희망을 좌절시킨다.

문제는 더 심각하다. 괴델에 따르면, T의 형식화가 어떤 간단한 필요조건을 만족하도록 하면, 우리는 T에서 "T가 일관적이면 G는 T에서 유도될 수 없다"와 같은 내용을 표현하는 문장 G를 도출할 수 있다. 그러면 대신 T가 일관적이라는 진술을 유도할 수 없다. 이것이 괴델의 제2 불완전성 정리이다. 대략적으로 말해, 어떠한 일관적인 이론도 자기 자신의 일관성을 증명할 수 없다. 이는 이상 수학의 일관성에 대한 유한적인 증명을 제공하겠다는 힐버트 프로그램의 핵심 목표를 좌절시킨다.

베르나이스-괴델의 결론에 대한 거의 합의된 견해는 다음과 같다. 힐버트 프로그램의 선택지는 두 가지이다. 첫째는 제2 불완전성 정리의 증명에서 사용된 일관성의 형식화 대신 일관성 속성의 다른 표현 방식을 개발하는 것이다. 둘째는 유한 산술이 본질적으로 비형식적임을 주장하는 것이다.

커리

하스켈 커리(Haskell Curry)는 1940년대 이후 형식주의를 명시적으로 주장하는 보기 드문 수학철학자이다. 그는 수학의 본질이 형식화의 (점진적) 과정에 있다고 생각하며, 형이상학적 가정으로부터의 자유를 수학의 이상으로 생각한다. 커리식 형식주의에 따르면, 성숙한 수학 이론의 주장들은 "문장 ɸ가 형식적 체계 T의 정리이다"처럼, 결국 체계 내의 결과를 나타내기보다 어떤 체계에 관한 주장으로 해석된다. 그래서 수학은 (성숙할 경우) 메타수학이다.

커리의 메타수학은 힐버트식 유한 산술에 제한되지 않는다. 한편 커리에 따르면 메타수학 역시 수학이므로, 메타수학은 다시 형식화되어야 한다. 다만 이는 무한 회귀를 구성하진 않는다. 그리고 커리에게 형식적 체계의 참은 이슈가 아니다. 그의 관심은 실용적이며, 형식적 체계의 수용가능성의 기준은 다음과 같이 다양하다: (1) 전제들에 대한 직관적인 증거 (2) 일관성 (3) 이론 전체의 유용성. 일관성은 중요한 기준 중 하나이지만, 절대적 기준이 아니며, 증명을 요구하지도 않는다.

커리식 형식주의에 대한 반대자들은 형식주의가 수학의 작은 측면에만 초점을 맞추면서 무언가 중요한 것을 버리고 있다고 주장한다. 프레게나 괴델 등에 따르면, 수학의 언어는 의미를 가지며, 의미를 무시하려는 시도는 왜곡이다.