올바른 수학을 찾아서

김병한

I. 서론

일반적으로 수학이라는 학문의 속성상,  증명이라는 과정을  통해 사실로 확인된 수학적 명제의 진위여부는 의문을 제기할 수 없는 것으로 알려져 있다. 하지만 수학에서도, 서로 다른 입장의 수학이 건설 될 수 있고, 그 입장들의 대립과 상충을 통해 `올바른' 수학을 찾아가는 과정이 있었다는 것은   수학역사의 흥미로운 이면이라 하겠다. 실례로 이러한 역사는 고대로부터 찾아볼 수 있는데, 피타고라스 학파는 유리수만이 수라고 주장했지만, 한편으로  [eqn: x^2 = 2] 를 만족하는 [eqn: x]가 유리수가 될 수 없음도 알고 있어 이에 관한 증명을 숨겼다고 한다.

)  Howard Eves, An Introduction to the History of Mathematics, New York: Saunders College Publishing, 1983, 55-56쪽.

그렇다면 어떠한 이유에서  [eqn: x^2][eqn: =2] 를 만족하는 수가 없는 수학이 아닌, 그 식을 만족하는 무리수 [eqn: root 2] 가 존재한다고 보는 수학으로 발전했는가? 또는 왜 음수와 음수의 곱이 양수가 되도록 곱이 정의된 것이 바른 수학인가? 이 질문에 대한 답은 수학의 실체가 우리의 경험과 관련 없이 선험적으로 존재하기 때문이며 우리는 단지 `올바른' 수학을 발견할 뿐이라는  플라톤적 관점으로   대답될 수도 있겠지만, 실제 대부분의 수학연구자들은 이런 관점을 의식하지 않고 있다. 사실 수학자들에게 현재의 수학적 토대를 인정하며 연구하는 이유를 묻는다면, 그들 대부분은 그것이 우리의 직관과 일치하기 때문이라고 대답할 것이다. 문명의 기원과 더불어 시작된 오랜 역사의 수학이 어찌 보면 너무 단순하다 싶은 이런 관점을 통해 현재의 일관된 현대수학으로 정립된 것은, 인간에게 있어서  직관의 통일성이 얼마나 강한 것인지를 보여준다고 할 수 있다. 만일 인류역사가 다시 되풀이 된다해도 수학은 현재와 같이 다시 발전되는 역사를 가질 것이라는 것이 필자의 생각이다. 그것이 결국 플라톤적 관점을 옹호하는 것이 아니냐는 지적을 받더라도 말이다.

이 소고에서  그러한 논의의 진전을  시도하려는 것은 아니다. 여기서는 단지, 19세기 말 올바른 수학을 찾는 과정에서 겪었던 수학역사의 가장 첨예한 위기, 혹은 대립을 소개한다. 그리고 그로 인해 발전된 수학 기초론이 이 문제들을 어떻게 해결하려 시도했으며 그로 인해 정립된 수학에서 진리, 증명의 개념은 무엇인가. 그 과정에서 알아낸 인간이 궁극적으로 도달할 수 없는 인식의 한계에 대한 사실들, 그리고 올바른 수학의 정립을 위해 과연 어떠한 토대, 공리를 현대 수학은 채택하고 있는가에 대해 살펴본다. 그리고 최근 집합론 자들 사이의 `직관'을 넘어서는 사영결정(Projective Determinacy)공리에 관한 논쟁, 즉 그 공리는 `올바름'에도 불구하고,  그것의 올바름을 인식하는 것은 직관에 의존하지 않고 그 공리를 연구하는 `경험'을 통해 가능하다는 캘리포니아학파의 주장에 대해 논의하고자 한다.

II. 수학 기초론의 등장

) 수리논리학과 수학기초론의 범주는 사실 차이가 있을 수 있으나,  본고에서는 두 말을 동일어로 취급한다.

1. 집합론의 출발

수학이 학문으로서의 체계를 갖추게된 주요 이유중의 하나는, 직관적 또는 경험적으로 당연한 사실들을 `증명□하려고 했던 것이다. 유클리드의 <원론>에 증명된 삼각형의 성질들은 동, 서양인 모두가 익히 알고 있었다고 하겠다. 그러나 그러한 사실들의 증명을 시도함으로 개념의 추상화가 이루어지고 연역의 사고가 발달, 정립되었다. 아무리 당연하게 보여도 (또는 아무리 아닌 것 같이 보여도), 증명에 의해 확인된 사실(또는 명제)만을 `(수학적) 진리□로 받아들인다는 것이다.

시대를 한참 뛰어넘어 19세기 말에 와서 진리개념을 포함, 수학의 기초에 대한 이해의 혁명적 진보가 이루어지는데, 그 시작은 칸토르(Cantor)의 집합론이다. 18, 19세기 수학과 물리학의 빠른 발전은 모호한 개념이나 증명을 바탕으로 이루어진 경우가 많았다. 몇 가지 쉬운 예를 들어보면

) 이하 I장에서 요약될 수학 기초론의 초기 역사에 대해선 다음을 참조하라. A. Fraenkel, Y. Bar-Hillel and  A. Levy, Foundations of Set Theory, Amsterdam: North-Holland, 1984; W. Hatcher, The Logical Foundations of Mathematics, New York: Pergamon Press, 1982; M. Kline, Mathematics, the Loss of Certainty, Oxford University Press, 1980;   R. Wilder, Introduction to the Foundations of Mathematics, New York: John Wiley & Sons, 1965.

[eqn: 1+x+x^2 + x^3 +... = 1 over 1-x]

라는 기하급수의 식이 [eqn: -1 < x < 1] 인 수 [eqn: x]에 대해 성립함은 쉽게 알 수 있다. 그런데 [eqn: x]에 -1을 대입하여, [eqn: 1 -1 +1 -1 +1 .....] 이라는 1과 0을 반복하는 급수가 [eqn: 1 over 2] 로 수렴한다는(잘못된) 결과를 사용하기도 했다. 또한  연속 곡선에 관한 정확한 개념이 정립되지 않아서 많은 지도적 해석학자들에 의해 연속인 곡선은 모든 점에서 미분 가능하다는 그른 증명이  당시 교과서에 주어지곤 했다. 이러한 엄밀성의 결여로 생기는 문제들에 대해, 계속되는 새로운 발견을 조명하느라 엄밀함에 연연하기에는 시간이 없다라고 말하는 학자들도 있었다. 하지만  그리스인들의 학문 전통에 뿌리를 두고있는 서양 학자들에게, <원론>에서 보여졌던 수학적 구조의 결함 없는 이상(理想)을 추구함은 중대한 과제로 남은 것이다.

그 자신 푸리에급수의 수렴에 관한 엄밀성을 세우고자 했던  칸토르는, 연구의 부산물로 집합론을 주창하게된다. 그는 그전까지 `실체□로 다루기를 꺼렸던 무한집합을 다루고, 그들 사이에 `크기□, 또는 `기수(基數, cardinality)' 개념을 도입했다. 즉, 두 무한집합 사이에 일대일 대응이 있을 경우 두 집합의  크기 혹은 기수가 같다고 한 것이다.  예를 들어 자연수의 집합은 유리수 집합에 포함됨에도 불구하고 두 집합사이에 일대일 대응이 존재한다. 따라서 두 집합의 `크기□는 같다고 말할 수 있다. 즉, 자연수 집합의 기수를 [eqn: aleph_0]라고 하면, 그것은 유리수 집합의 기수도 되는 것이다. 하지만 실수의 집합은 자연수 집합과 일대일 대응이 되지 않는다. 실수집합에 순서를 주어 첫째 원소, 둘째 원소, 셋째 원소, ... 이런 식으로 전체를 다 셀 수 없다는 것이다. 즉 실수집합의 기수인 [eqn: 2^aleph_0]는, [eqn: aleph_0]보다 큰 것이다. [eqn: (2^aleph_0 > aleph_0 )]

이뿐 아니라 실수들을 직선상의 점들로 보면, 그 점들은 평면 또는 3차원 공간 (일반적으로 n차원 공간)의 점들과도 일대일 대응된다는 믿어지지 않는 결론까지 얻게된다. 다시 말해 n차원 공간의 기수도 역시 [eqn: 2^aleph_0]인 것이다.

이러한 획기적인 생각은 처음엔 수학자들에게 잘 받아들여지지 않아서 크로넥커등 당시  수학자들의 공격을 받기도 했다. 그러나 곧, 집합론을 근간으로 자연수 및 그것의 산술 개념을 명확히 할 수 있고, 그것을 통해 차례로 정수, 유리수, 실수를 구성하여 해석학의 엄밀성을 확립할 수 있음을 알게되었다. 20세기에 접어들 무렵, 학자들은 집합론이 수학의 기초이며 그 토대 위에 엄밀한 수학을 건설하는 이상을 실현할 수 있으리라는 기대에 차 있었다. 당시 지도적 수학자였던 힐버트(Hilbert)는 칸토르가 이끈 세계가 수학자들에게 `낙원□이라는 표현까지도 쓰며 집합론을 옹호했다.  현대 수리논리의 구문적 형식을 정립하는데 공이 큰, 철학자이기도 했던 프레게(Frege)는 집합론을 형식 논리적으로 전개하려 하였다. 이러한 모든 시도는 러셀의 역리라 불리는 심각한 도전에 직면하게된다.

2. 러셀의 역리

1902년 프레게는, 앞서 말 한대로 논리적 방법론으로 집합론 및 산술의 토대를 세우고자 쓴 《수학의 기본법칙》이 거의 끝나길 무렵 러셀(Russell)로부터 그 책의 근본을 흔드는 모순을 지적한 편지를 받는다. 러셀은 그 편지에서 `러셀의 역리□라 일컫는  칸토르의 집합론이 가지는 모순을 지적한다.  자기 자신을 원소로 갖지 않는 집합을 모은 집합을 [eqn: S]라 하자. 즉,

) G. Frege, Grundgesetze der Arithmetik, Begriffsschriftlich Abgeleitet, Jena Vol. 1 1893; Vol. 2, 1903 (English traslation in The Basic Laws of Arithmetic: Exposition of the System, University of California Press, 1964).

[eqn: S = \{ x \ | \ x not in x \ \}]

이다. [eqn: S]의 원소들은 자기 자신을 원소로 갖지 않으므로, [eqn: S]가 [eqn: S]의 원소이면 [eqn: S]는 자기 자신을 원소로 갖지 않으므로 [eqn: S]가 [eqn: S]의 원소일 수 없다. 기호로 나타내면

[eqn: S in S \ RARROW \ S not in S.]

한편  [eqn: S]는  자기 자신을 원소로 갖지 않는 집합을 다 모은 것이므로, [eqn: S]가 [eqn: S]의 원소가 아니면 [eqn: S]는 자신을 원소로 갖지 않으므로, [eqn: S]에 속하게 된다. 다시 말해

[eqn: S not in S \ RARROW \ S in S]

가 되어, 결국

[eqn: S in S \ LRARROW \ S not in S]

이 되므로 모순을 얻는다.

사실 집합론이 가지는 역설에 관하여선 이 외에도 이미 칸토르 자신 등에 의해 발견된 모순들이 있었다. 칸토르는 한 집합 [eqn: A]가  있으면, [eqn: A]의 멱집합, 즉 [eqn: A]의 부분집합을 다 모은 집합은   [eqn: A]보다 크기가 크다는 것을 증명하였다. 그렇다면 집합을 다 모은 집합을 [eqn: V]라 하면 [eqn: V]의 멱집합 [eqn: WP(V)]의 원소도 역시 집합이므로  [eqn: WP(V)]는 [eqn: V]의 부분집합이 되어 [eqn: WP(V)]의 크기가 [eqn: V]보다 클 수 없게된다. 이러한 모순들을 논리적 역리라 부른다. 상대적으로 구문적 모순이라 불리는 역리들이 있는데, 그 중 대표적인 것은 베리의 역리이다. 자연수 중에 서른 미만의 단어로 정의 가능한  수들의 집합을 [eqn: T]라 하자.   한글 단어는 유한 개 있으므로 [eqn: T]는 유한 집합이다. 따라서 [eqn: T]에 들어가지 않는 첫 번째 자연수가 존재한다. 그 것을 [eqn: k]라 하자. 따라서 [eqn: k]는 다음의 문장으로  정의된다.   `자연수 중에  서른 미만의 단어로 정의 가능하지 않은 첫 번째 수□. 그러나 이문장의 단어는 서른 미만이므로 [eqn: k]는 [eqn: T]의 원소가 되는 모순을 얻는다.  러셀의 역리 이전의 역리들은 집합론의 기본 개념들을 명확히 함으로 피해갈 수 있으리라는 생각에 큰 주목을 얻지 못했다. 하지만  러셀의 역리는 집합론의 매우 근본적인 결함을 지적한 것이라 여겨졌다. 집합론에 치명적 결함은  수학의 근간을 흔드는 것이기에, 칸토르가 제시한 근본 아이디어를 살리며 모순 없는 집합론을 건설할 수 있는가가 수학자들이 당면한  과제였다.

) 집합론의 역리들에 관해  A. Fraenkel, et. al. Foundations of Set Theory, Chapter I 참조.

3. 힐버트의 형식주의

수학의 재건설이라는 이상의 실현 도상에서 만난 역리들은 수학자들의 의견과 입장을 나뉘게 했다. 수학자들 사이에서 이 시기같이, 다른 주장에 따라 의견이 크게 나뉘었던 때는 찾기 힘들다. 러셀과 화이트헤드는 《수학의 원리》를 저술하여 논리주의를 표방하였다. 수학의 근본을 논리학적 관점에서 서술하려는 것, 또는 수학을 논리학으로 환원하려는 시도 때문에, 자연 현상의 다양한 변화의 표현이 논리학으로 귀결될 수 없다는 인식에서 논리주의가 비판받은 것은 사실이다. 그러나 현대수학이 이러한 논리주의의 입장을 취하지 않는 것처럼 일반적으로 잘못 알려진 것과 달리, 현대 수학은 집합론을 통한 수학기초론의 정립과 그것의 수리 논리학적 구성으로 인해 논리주의와 닿아있다. 논리주의의 철학적 입장은 오늘날에도 살아있으나, 《수학의 원리》의 러셀과 화이트헤드의 시도는 성공적이지 못했다. 그들이 논의의 전개와 역리의 방지를 위해 내세운 `유형론□ 역시 수학자들이 받아들일 만큼 만족스럽지 못했기 때문이다.

) B. Russell and A. Whitehead, Principia Mathematica, Cambridge, 1925-27.

) 다만 많은 수학자가 이러한 현대 수학기초론을 의식하지 않고 수학을 하고 있으며,  형식주의에 기초한다는 의미속에 논리주의의 관점이 있음이 종종 간과된다.

좀 더 과격한 주장은 위상수학자였던 브라우어(Brouwer)에게서 나온다. 그의 주장은 전통을 흔드는 것으로  지금까지 당연시되던 수학의 많은 부분을 포기해야했다. 예를 들어 수학의 많은 존재 증명은 `존재하지 않는다면 모순이 유도된다□는 귀류논법을 통해서 가능하다. 브라우어에겐 존재하지 않는다면 모순이 생긴다는 것이 존재한다는 것을 의미하는 것으로 귀결될 이유가 없다.  구체적으로 어디에 어떻게 존재하는지를 보일 수 있어야만 존재증명이라 할 수 있다는 뜻이다. 철학적으로 매우 흥미 있는 주장이지만, 아리스토텔레스 시대 이후의 논리적 원리인 배중률(排中律)을 포기하라는 것은 절대 다수의 수학자들에겐 받아들일 수 없는 요구였다.

) 참조 W. van Stigt, Brouwer's Intuitionism, North-Holland, 1990.

가장 널리 받아들여진 주장은 당시 최고 지도적 수학자였던 힐버트의 형식주의다. 힐버트는 논리주의자를 비판했지만, 그의 방법론의 일부는 논리학자들이 발전시켰던 것을 채택했다. 현대적으로 잘 정립된 수리논리의 관점에서 그의 형식주의를 서술하면, 우선 논리적, 수학적 진술은 언어의 모호성과 직관적 지식의 무의식적 사용을 피하기 위해 기호로 표현 되야 한다. 그리고 논리학의 모든 원리들을 이끌어 내기 위해 공리라 불리는 기본 진술들을 채택하고 그것에 의해 다른 진술들이 연역되는 명확한 법칙을 정한다. 이 과정은 이미 프레게, 러셀 등의 논리학자들에 의해 정립돼 있었다. 그러나 힐버트의 관점이 그들과 다른 것은  논리학의 공리만으로  수학을 재구성하는 것은 불충분하며, 수학은 예를 들어 집합론이나 산술 등은, 각각 자신의 공리체계가 필요하다는 것이다.   산술에 관하여선 이미 페아노(Peano)의 공리 체계가 있었고, 집합론을 위한 공리체계는 체르멜로(Zermelo)와 프랭켈(Fraenkel)에 의해 발전되었다. 물론 그들 공리들은 앞서 말했던 역리들이 생기지 않는 의도를 가지고 선택되었다. 이리하여, 한 수학적 체계상에서, 즉 집합론 체계나 산술체계에서  기호화된 `명제□가 `증명□된다는 것을 정의할 수 있다. 증명의 과정은 철저히 직관이 배제되고 기계적인 연역작업의 유한 반복으로 이루어질 뿐이다.

) 체르멜로-프랭켈 집합론 공리의 구체적 내용과, 증명의 형식적 정의를  다음 장에서 설명할 것이다.

이해가 쉽게 설명하면,  수학의 형식체계는 일종의 컴퓨터 프로그램으로 이해될 수 있다. 그 프로그램에는  기본이 되는  논리의 공리들이 입력되어 있다. 그리고 공리로부터 출발하여 새로운 명제를 도출하는 방식이 입력돼있다. 이 프로그램에, 기초가 되는 수학분야의 공리들, 예를 들어 앞서 말한  산술의 공리나, 집합론의 공리를 입력함으로, 분야의 형식체계 프로그램이 완성된다. 산술에 관한 한 명제의  증명이 옳은가 하는 것은, 유한 한 증명 과정 각 단계가 프로그램에 입력된 법칙에 따라 진행됐는가를 컴퓨터가 기계적으로 확인하기만 하면 된다.  이런 방식이라면 구문적 모순을 불러왔던 베리의 파라독스나, 직관이나 편견으로 인한 증명의 오류는 설자리를 잃게 된다.

) 물론  형식주의는 수학의 대상이 단지 가상적 기호들의 나열에 불과하냐는 철학적 저항에 직면한다. 그러한 의문에 상관없이, 현대 수학은  형식주의 토대 위에서 발전했다.

힐버트의 형식주의는 오늘날의 관점에서 보면, 당시의 논리주의나, 공리주의를 통합하여 현대 수리논리의 발전 방향을 제시했다고 볼 수 있다. 힐버트가 형식주의를 제창하면서 목표로 세운 것은 이러한 형식적 방법으로 건설된 수학이 무모순함을 증명함으로 집합론의 역리에서 제기된 수학기초의 결함에 대한 의심을 단번에 제거하자는 것이었다. 다시 프로그램의 비유로 돌아가,   프로그램이 어떠한 성격을 갖는가, 예를 들어 프로그램에 오류가 없는가에 대한 답은  프로그램과 독립적으로 이루어질 수밖에 없다. 이와 같이 한 형식체계의 무모순을 논하기 위해선 다시 언어의 서술에 의존하는 방법을 사용해야한다. 이렇게 형식체계간의 관계나 성질을 논하는 것을 힐버트는 초수학(metamathematics)이라 불렀으며, 직관적으로 자명하여 누구나 의심 없이 받아들일  `유한적□ 초수학으로 , 형식체계의 무모순을 증명할 수 있으리라 여겼다.  그러나  그의 목표는 괴델의 불완전성 정리에 의해, 그가 원하던 방법으론 성취될 수 없음이 밝혀진다.

) R. Wilder, Introduction to the Foundations of Mathematics 264쪽.

) 힐버트가 사용한 유한적(finitary) 방법이라는 말은 좀 모호하여, 현재까지도 종종 논란의 대상이 되기도 한다.

4. 괴델의 불완전성 정리

1931년 20대의 쿠르트 괴델(Kurt G□del)은, 학계를 깜짝 놀라게 한 그의 불완전성 정리라 불리는 결과들을 발표한다. 2003년 6월 19일 그의 첫 번째 불완전성 정리는 다음과 같다.  기본 산술을 포함한, 모순 없는 수학 체계는   불완전하다 즉 앞서 말한 페아노 공리체계는 당연히 산술의  기본(덧셈, 곱셈의 기본 성질들)을 포함하고, 체르멜로-프랭켈의 집합론 공리체계도 체계 내에서 자연수와 그 연산에 대한 정의와 진술이 가능하다. 이러한 체계에서 모순이 유도되지 않는다면, 그 체계 내에서는 증명도 안되고, 부정도 안 되는 명제가 존재한다는 것이다. (이러한 체계를 불완전하다고 한다.) 그의 두 번째 불완전성 정리는 더욱 놀라운 것인데, 역시 기본 산술을 포함한 수학체계가 모순이 없다면, 그 체계 내에서  그 체계의 무모순을 증명하는 것이 가능하지 않다는 것이다. 이 말은 결국 힐버트의 수학 기본체계가 무모순함을 증명하려는 목표가 성취될 수 없음을 뜻하는 것이다. 따라서 현대 수학의 근간이 되는 체르멜로-프랭켈 집합론은 모순이 없는 체계이기에 그 체계의 무모순을 증명할 수 없거나, 또는 칸토르의 소박한 집합론이 그랬던 것처럼, 미래에 누군가에 의해 모순이 발견되어(대부분의 수학자가 그런 가능성이 없다고 믿지만)  수정 또는 폐기를 요하거나, 둘 중 하나의 그 어느 경우도  불안정한 상태를 벗어날 수 없다는 것이다. 이는 인간 이성(理性)의 한계를 극명하게 보여줌과 동시에, 그 한계를 또한 명확히 밝혔다는 사실에 이성의 위대성을 동시에 보여준다 하겠다.

) K. G□del, Collected Works, 3 Volumes, Oxford University Press, 1995.

)  좀 더 정확히는, 모순 없는 논리체계가 있어, 그 논리체계의 공리들이 인식가능하고 (즉, 공리들을 구분할 알고리듬, 예를 들어 컴퓨터 프로그램을 만들 수 있고), 거기서  기본산술의 설명이 가능하면, 그 체계는 불완전하다. 예를 들어 페아노 공리체계는 그러한 체계중의 하나인데,  괴델은 거기서 증명되지 않는 명제가  자연수 모델에서는 진리임을 보였다. 즉 괴델 정리는, 진리이나 우리가 인식할 수 있는 공리체계 내에서는 증명할 수 없는   명제가 있다는 의미로도 해석할 수 있다. IV장 도입부를 보라.

) 이 말은 힐버트가 원했던 유한적 방법으로는 불가능하다는 말이다. 겐젠은 불완전성 정리가 나온 수년 후 초한 귀납법(Transfinite Induction)을 사용하여 산술의 무모순을 증명했다. G. Gentzen.. Collected papers, Amsteldam: North-Holland, 1969. 불완전성 정리가 힐버트의 게획을 무너뜨린 것이 아니라고 보는 견해도 소수 있긴 하다. M. Detlefson, Hilbert's Program, Dordrecht: Academic Press, 1986 참조.

괴델의 정리는 무모순에 관한 문제가 궁극적으로 불완전한 해답을 가질 수밖에 없다는 결론으로, 오히려 그의 정리 이후 수학 기초론은 무모순의 문제에서 벗어나 빠른 속도로 발전하게 된다. 처칠, 타르스키 등에 의해 수리논리의 학문적 기초가 더욱 공고히 되었다. 튜링, 폰 노이만 등에 의해 이론 전산의 태동이, 실제 컴퓨터 설계의 결과로 이어지고 이에 따른 계산이론, 컴퓨터 이론의 발전은 주지하는 바이다. 뿐만 아니라 수리논리는 언어학에도 영향을 미쳤고, 기초론은 수리 철학의 주된 논제임은 말할 나위 없겠다. 최근 쉘라와 후루쇼브스키에 의한, 수리논리의 한 분야인  모델론의 발전은, 대수기하 및 정수론 등에 큰 영향을 미쳤다. 즉 그 영역이 기초론 뿐 아닌, 수학의 본래 관심사에까지 확대되는 등 수리논리학의 발전과 확장은 제한 없이 계속되고 있다.

) 수리논리에서 컴퓨터의 제작으로 이어지는 역사에 관해 다음을 참조. M. Davis, , Engines of Logic, New York: W. W. Norton & Company, 2000.

) 양상논리(Modal Logic)와 관련하여 G. Boolos, The Logic of Provability, Cambridge University Press, 1993; 수리철학 관련  P. Benacerraf and H. Putnam, Philosophy of Mathematics, selected readings, Cambridge University Press, 1998 참조.

) S. Shelah, Classification Theory, Amsteldam: North-Holland, 1990; E. Hrushovski, ``The Mordell-Lang conjecture for function fields'', Journal of American Mathematical Society, 1996, 667-690쪽.

III. 수학의 진리개념

1. 집합론 형식체계

이 장에서는 좀 더 구체적으로 집합론의 형식체계를  살펴보자. 먼저 집합론의 진술들을 `정식(formula)'이라 부르는데, 다음과 같이 구성된다. 쓰이는 기호들은 연결기호[eqn: LNOT],[eqn: ->],[eqn: <->], [eqn: VEE], [eqn: WEDGE],  양화(量化)기호(quantifier) [eqn: FORALL],[eqn: EXIST],  보조기호 (, ) 그리고 술어(述語)기호 [eqn: =],[eqn: IN], 끝으로 변항기호 [eqn: x], [eqn: y], [eqn: z],...들이다.  이들이 다음과 같이 연결될 때  `정식□이라 부른다. 우선  [eqn: x=y], 또는 [eqn: x IN y] 는 정식이다. [eqn: phi]와 [eqn: psi]가 정식이면 [eqn: ( LNOT phi)], [eqn: ( phi -> psi )], [eqn: (phi <-> psi)], [eqn: ( phi WEDGE psi)], [eqn: (phi VEE psi)] 모두 정식이고, [eqn: FORALL x phi] 와 [eqn: EXIST x phi] 도 정식이다. 예를 들어 [eqn: FORALL z (x=y->(z IN x->z IN y))] 는 정식이다. 이 정식에서 [eqn: z]는 양화기호 [eqn: FORALL]에 한정돼 있는데, 이 경우 `변항 [eqn: z]가 한정돼있다□고 한다. [eqn: x], [eqn: y]는 한정돼 있지 않으므로 자유변항이라 한다. 정식을 보통 [eqn: phi (x_1, x_2 ,..., x_n )]으로 표시하는데, 이는 변항 [eqn: x_1, ..., x_n] 이 정식 [eqn: phi] 의 자유변항이라는 의미다. 정식에 자유변항이 하나도 없는 경우를 명제, 또는 문장(sentence)이라 부른다. 예를 들어 위의 정식에 [eqn: FORALL x FORALL y] 를 붙인 [eqn: FORALL x FORALL y FORALL z (x=y->(z IN x->z IN y))] 는 명제가 된다. 다음 작업은 I장에서 설명 한대로, 모든 형식체계에 적용되는, 논리적 공리들을 나열하는 일이다. 여기서 구체적으로 열거하진 않겠으나, 일반적으로 자명하여 공리로 채택하고 싶은 명제들을 포함한다고 보면 된다. 예를 들어, [eqn: phi], [eqn: psi]가 정식일 경우 [eqn: ( phi -> phi)], [eqn: ((phi WEDGE psi) -> phi)],[eqn: (phi -> (phi VEE psi))],[eqn: ( phi ->(( phi -> psi) -> psi))] 들은 모두 논리적 공리이다.  또한 [eqn: phi]가 명제일 경우 [eqn: (phi -> FORALL x phi)]도 논리적 공리이고, [eqn: FORALL x \ x=x], [eqn: EXIST x \ x=x], 앞서 언급한 [eqn: FORALL z (x=y->(z IN x->z IN y))]도 모두 논리적 공리들이다.

)  x가 y의 원소임을 뜻한다.

) 각각, □가 아니다, □이면 □이다, □와 □는 동치이다,  □이고 □이다, □이거나 □이다,를 뜻한다.

) 각각, 모든 x에 대해 □이다, □인 x가 존재한다,는 뜻이다.

) 모든 z에 대해, x와 y가 같을 때, z가 x의 원소이면 z는 y의 원소이다.

) 이들은 모두 진리표에 의해 항진(恒眞, tautology)이다.

다음은 집합론의 공리들을 나열한다. 체르멜로와 프랭켈이 정립한 집합론의 공리들을 ZFC 라 부르는데,  여기서 C는  선택 공리(Choice Axiom)를 뜻한다. 선택공리만을 따로 머릿글자에 붙이는 이유는 선택공리가 논쟁의 대상이 되어 종종 선택공리를 제외한 공리들 ZF와 구분되어 연구되기 때문이다. 소고에선 다루지 않겠지만 선택공리에 대한 논쟁 역시 매우 흥미 있는 역사가 있다.

) 치환공리를 제외한 모든 공리들이 체르멜로에 의헤 제안되었다. 후에 프랭켈이 치환공리가 필요함을 지적했다.

) G. Moore, Zermelo's Axiom of Choice, Its Origins, Development, and Influence, Studies in the History of Mathematics and Physical Science, Vol. 8, New York: Springer-Verlag, 1982; S. Wagon, The Banach-Tarski Paradox, Cambridge University Press, 1985.

(1) 외연성 공리(Extensionality Axiom)

[eqn: FORALL x FORALL y FORALL z ((z IN x <-> z IN y) -> x=y)].

(2) 쌍 집합 공리(Pairing Axiom)

) 집합 x와 y가 있을 때, 둘을 모은 집합 z={x,y}가 존재한다.

[eqn: FORALL x FORALL y EXIST z FORALL w (w IN z <-> ( w=x \ VEE w=y))].

(3) 합집합의 공리(Union Axiom)

) 집합 x에대해 x의 원소들을 모두 합한 집합 y가 존재한다. 예를 들어 x={a,b,c}라면 y는 a∪b∪c={z| z∈a, or z∈b,  or z∈c}가 된다.

[eqn: FORALL x EXIST y FORALL z (z IN y <-> EXIST w (z IN w WEDGE w IN x))].

(4) 멱집합의 공리(Power Set Axiom)

) 집합 x의 부분집합을 다 모은 멱집합이 존재한다.

[eqn: FORALL x EXIST y FORALL z (z IN y <-> FORALL w (w IN z -> w IN x))].

(5) 부분집합의 공리들(또는 내포성 공리들, Subset Axioms)

[eqn: phi (x)]가 정식일 때,

[eqn: EXIST y FORALL x (x IN y <-> (x IN z WEDGE phi (x)))].

)  집합 z와 조건 □(x)가 있을 때, z의 원소 중, □(x)를 만족하는 것들만 모은 z의 부분집합

y={x∈z|□(x)} 가 존재한다. (좀 더 정확히는 조건 □(x, a,b,c)등이 주어질 때.) 이것들은  □(x)에 따라 하나씩  주어지므로, (5)는  무한히 많은 공리들이다.

부분집합의 공리들은 체르멜로가 러셀의 역리를 피하기 위해 채택한 공리이다. 여기서 [eqn: phi]를 문제가 된 [eqn: x NOT IN x] 라 하면 ZF체계에서는 [eqn: \{ x \ | \ x NOT IN x \}]라는 집합은 존재하지 않으며 기껏해야  [eqn: z]라는 집합의 존재가 보장된 가운데 [eqn: \{ x IN z \ | \ x NOT IN x \}= S'] 라는 집합이 이 공리에 의해 존재하게 된다. 이 때 [eqn: S' IN S'] 라고 가정하면 [eqn: S' NOT IN S']을 만족해야 하므로 모순이다. 따라서 [eqn: S' IN S']이라는 가정은 잘못되었으므로 [eqn: S' NOT IN S'] 라는 결론을 얻는다. 하지만 러셀의 역리에서처럼 [eqn: S' NOT IN S']인 것은  [eqn: S' IN S']을 뜻하지 않고, 단지 [eqn: S' NOT IN z] 임을 나타낸다.  또한 [eqn: 0= \{ x | x NOT = x \}] 라 하면 공집합 [eqn: 0]은 아무것도 원소로 가지지 않은 집합이 된다. [eqn: EXIST z(z=z)]가 (논리적) 공리이므로  최소한 한 집합 [eqn: z]가 존재하는 것이 보장되고 [eqn: 0= \{ x IN z | x NOT = x \}] 이라 할 수 있으므로 부분집합 공리에 의해 공집합의 존재가 보장된다.

(6) 기초 공리(Foundation Axiom)

[eqn: FORALL x ( x NOT = 0 -> EXIST y (y IN x WEDGE x CAP y = 0)].

여기서 [eqn: x CAP y]는 [eqn: x], [eqn: y]의 교집합을 뜻한다. 이 기초 공리에 의해 [eqn: x IN y] 이면 [eqn: x NOT = y] 임을 보일 수 있다.

) x∩y={z| z∈x and z∈x}.

(7) 무한집합의 공리(Infinity Axiom)

) 이 무한집합의 공리를 만족하는 집합 x는 무한히 많은 원소를 갖는다. 앞의 기초공리에 의해 그 원소들이 서로 다르다는 것이 보장된다.

[eqn: EXIST x ( x NOT = 0 WEDGE FORALL y(y IN x -> EXIST z (z IN x WEDGE y IN z))].

(8) 치환 공리들(Replacement Axioms)

) 프랭켈이 제안했다. 집합 z의 임의의 원소 x에 대해 □(x,y,a,b,..)를 만족하는 y가 있으면, 그런 y들을 모은 집합 w가 존재한다.

[eqn: phi ( x, y)] 가 정식일 때,

[eqn: FORALL z [ FORALL x (x IN z -> EXIST y \ phi(x, y)) -> EXIST w FORALL x (x IN z -> EXIST y( y IN w WEDGE phi(x, y)))]].

(9) 선택공리(Choice Axiom)

) 집합 x의 원소들이 공집합이 아니면, 그 원소들에서 각각 하나의 원소만을 택하여  모은 집합이 존재한다.

[eqn: FORALL x FORALL y [(y IN x -> y NOT = 0) -> EXIST w FORALL y (y IN x ->( |y CAP w|=1))]].

(여기서 [eqn: |y CAP w|=1] 이란 집합 [eqn: y CAP w] 의 원소가 하나밖에 없음을 의미한다.)

) 이것은 명제 ～s(s∈y∩w)∧´u´v((u∈y∩w ∧ v∈y∩w)→u=v)로 나타낼 수 있다.

이제  우리는  `증명□에 대해 말할  단계이다.

정의 1) 집합론의 명제 [eqn: sigma]가 ZFC에서 `증명□된다는 것은 (ZFC[eqn: ASSERT][eqn: sigma] 로 쓴다) 유한개의 정식 [eqn: phi_0], [eqn: phi_1], ..., [eqn: phi_n] 이 있어, 우선[eqn: phi_n]은 [eqn: sigma]이고, 각 [eqn: i ( LEQ n )]에 대해

(1) [eqn: phi_i]는 논리적 공리이거나

(2) 또는 위의 ZFC 공리중 하나 이거나

(3) 혹은 [eqn: phi_i]가 앞 선 두 정식에서 전건긍정법(Modus Ponens)을 사용하여 얻어지거나(즉 [eqn: j,k < i]가 있어, [eqn: phi_k]가 [eqn: phi_j -> phi_i]이거나)할 경우를 뜻한다.

) 전건긍정법은 두 정식 □, □→□에서 □를 유도하는 것을 뜻한다

[eqn: T]를 명제들의 집합이라 할 경우, [eqn: sigma]가 [eqn: T]에서 증명된다는 것도 위 정의에서 ZFC를 [eqn: T]로 대치하기만 하면 된다. 이제 이렇게 해서 집합론체계에서 한 명제가 다른 명제들의 집합으로부터 증명된다는 것의 형식적 정의를 끝냈다. 집합론이 아닌 산술체계도 상황은 같다. 단지 명제를 정의하기 위해 사용되는 기호에, [eqn: IN] 대신 연산의 기호([eqn: +],[eqn: TIMES])가 들어가고, ZFC 공리가 페아노 공리로 대치될 뿐이다.

`명제들의 집합 [eqn: T]에서 명제 [eqn: sigma]가 증명된다□는 문장은 `[eqn: T]에서 [eqn: sigma]가 유도된다□는 뜻이어야 하고, 논리적으로 보면 `[eqn: T]의 모든 명제들이 참이면,  [eqn: sigma]도 참이다□라는 문장과 동치이어야 한다. 그렇다면 여기서 명제의 진리와 거짓에 대한 개념의 명확성이 요구된다. 수리논리에선 집합론의 한 명제가 `진리로 해석이 되는 개념□을 모델을 사용하여 정의한다. 즉  `[eqn: T]의 모든 명제들이 참으로 해석되면,  [eqn: sigma]도 참으로 해석된다□는 문장이 의미하는 바를 모델개념을 사용하여 명확히 할 수 있고,  이 문장은 다시 앞에서처럼 `[eqn: T ASSERT sigma] □와  동치여야 하는 것이다. 다음에서 이 관계를 구체적으로 살펴본다.

2. 모델과 진리개념

)  모델에서의 명제의 진리개념은 타르스키에 와서 만족스럽게  정립되었다. 다음을 참조하라.

H. Dales and G. Oliveri, ``Truth and the foundations of mathematics. An introduction,'' in Truth in Mathematics, Oxford University Press, 1998; W. Hodges, Model Theory, Cambridge University Press, 1997.

집합론에서 모델은 쌍 [eqn: <M,E>]를 뜻하는데, 여기서 [eqn: M]은 공집합이 아닌 집합이고, [eqn: E]는 [eqn: M]에서의 관계, 즉 [eqn: M TIMES M= \{ <x,y> | x, y IN M \}]의 부분집합이다.

정의 2) M[eqn: =<M,E>]은 모델이고, [eqn: phi(x_1 , ... , x_n )]이 정식, [eqn: a_1 , ..., a_n]이 [eqn: M]의 원소들일 때,  [eqn: phi]가 모델  M에서 [eqn: a_1 , ... , a_n]으로 만족된다는 말을 (M[eqn: MODELS][eqn: phi[a_1 , ... , a_n ]]으로 쓴다) 다음과 같이 회기적으로 정의한다.

(1) [eqn: phi]가 [eqn: x = y]인 경우; [eqn: a=b]일 때, M[eqn: MODELS x=y [a,b]] 라 정의한다.

(2) [eqn: phi]가 [eqn: ( NEG psi )]인 경우; M[eqn: MODELS psi[a_1 , ... ,a_n ]]이 아닐 때, M[eqn: MODELS (NEG psi)[a_1 , ... ,a_n ]] 라 정의한다.

(3) [eqn: phi]가 [eqn: ( psi WEDGE chi )]인 경우; M[eqn: MODELS psi[a_1 , ... ,a_n ]]이고  M[eqn: MODELS chi[a_1 , ... ,a_n ]]일 때, M[eqn: MODELS ( psi WEDGE chi)[a_1 , ... ,a_n ]] 라 정의한다.

) 나머지 연결자들 →, ∨, ↔에 대해서도 같은 방식으로 정의한다.

(4)  [eqn: phi]가  [eqn: EXIST x_i psi]인 경우;  M[eqn: MODELS psi [a_1 ,..., a_i-1 , b , a_i+1 , ... a_n ]] 인 [eqn: b]가 [eqn: M]에 있을 때,

M[eqn: MODELS EXIST x_i psi]라 정의한다.

임의의 정식 [eqn: phi[ x_1 , ... , x_n ]]가, 임의의 모델  M[eqn: = < M, E >]에서 진리이다(또는 참이다)라는 말은  어떠한 [eqn: M]의 원소 [eqn: a_1 , ... , a_n]에 대해서도 M[eqn: MODELS phi [ a_1 , ... , a_n ]]인 경우를 의미한다. 특히 [eqn: phi]가 명제일 경우 자유변항이 없으므로 M에서 진리이거나 거짓 둘 중 하나이다.  정의 2)를 살펴보면 알겠지만, 이 진리개념은 기호화된 명제에 우리가 의도한 의미를 모델 안에서 해석하는 것에서 나온다.  모델이 해석된 명제의 성질을 가지면, 그 명제는 그 모델에서 참이고, 그렇지 않으면 거짓이 되는 것이다.

이제 우리는 `명제들의 집합 [eqn: T]에서 명제 [eqn: sigma]가 논리적으로 유도된다□는 정의를 할 수 있다. 이 말은 [eqn: T]의 모든 명제가 어떤 모델 M에서 전부 참이면,  [eqn: sigma]도 그 모델 M에서 참인 경우를 뜻한다. ([eqn: T][eqn: MODELS sigma] 로 표기한다.)  이 것은 III.1 말미에서 살펴 본대로 우리가 원하던 정의이다.  그렇다면 이 논리적 유도의 개념이 III장에서 정의한 증명개념과  일치하는가?  괴델은 1930년 그의 학위논문에서 두 개념이 일치함을 보였다 (이것은 I.3에서 말한 초수학적 결과의 예이다.) 즉, 명제 [eqn: sigma]가 명제들의 집합 [eqn: T]에서 증명되면 ([eqn: T ASSERT sigma]), [eqn: sigma]는 [eqn: T]에서 논리적으로 유도되고 ([eqn: T MODELS sigma]), 역으로 [eqn: sigma]가 [eqn: T]에서 유도되면, [eqn: sigma]는 [eqn: T]에서 증명된다. 이는 우리가 정의한 증명과정을 통해 얻는 명제들은, 우리가 얻고자 의도했던 것과 정확히 일치한다는 의미다.  이 결과를 괴델의 완전성 정리라 부른다. 이 완전성 정리에 따르면 [eqn: T]가 무모순 한 것은(즉, [eqn: T]에서 어떤 명제와 그 명제의 부정이 동시에 증명되지 않는 것은), [eqn: T]가 모델을 갖는다(즉, 어떤 모델이 있어 [eqn: T]의 모든 명제가 그 모델에서 참인 경우)는 말과 일치한다. 따라서 ZFC공리들이 무모순함을 보이는 것은 ZFC의 모델을 찾는 것에 다름 아니다. 하지만 I.4에서 언급한 괴델의 두 번째 불완전성 정리로 인해, ZFC의 모델을 찾는 것은 가능하지 않다.

) K. G□del, Collected Works.

3. ZFC 공리의 정당성

그렇다면 어떠한 근거로 ZFC공리의 정당성을 입증할 수 있는가? 이것에 대한 해답은 ZFC가 우리의 직관과 일치한다는 것에서 찾을 수 있다. ZFC의 각 공리는 절대 다수의 수학자들에게 있어선 자명한 것이고, 또 하나도 빠뜨릴 수 없는 유용한 것이기도 하다. 증명할 수 없다하더라도, 각 공리의 근원적 성질로 봐서 ZFC는 무모순하며, ZFC상에서 건설되는 수학이 정당한 수학이라는 것이 수학자들의 공통된 견해이다.

문제는 ZFC가 무모순 하더라도, 괴델의 첫째 불완전성 정리에 의해 결정할 수 없는 명제가 존재하게 된다. 즉 ZFC에서 자신이나, 그 부정 모두의 증명도  되지 않는 명제가 있다는 것이다. 실제로, 괴델과 코헨(Cohen)은 연속체 가설이 ZFC에서 증명도 부정도 되지 않는다는 (초수학적) 결과를 얻었다. 이 연속체 가설은 자명한 ZFC의 공리들과 달리, 자신이나, 그것의 부정 중 어느 것이 올바른 것인지  직관이 답해주지 않는다. 그렇다면 ZFC를 정규수학의 공리로 인정하는 수학자들이지만,  연속체 가설의 문제에선 의견이 나뉘어 연속체 가설을 인정하는 수학과 부정하는 수학으로 발전할 수도 있다는 말이 된다. 사실 이런 비결정적 명제는 집합론뿐 아닌, 대수학, 기하학, 위상수학 등에도 등장하고, 아직 풀리지 않은 수학의 문제들이 혹 비 결정문제는 아닐까 의심해 보는 것은 자연스럽기까지 하다. 현대 수학자들은 지난 세기 초의 수학자들간의 심각한 의견대립을 경험한 이후여서인지,  명제가 비 결정인 경우 그 것으로 만족하고, 더 이상 어떤 한 쪽을 취할 것을 주장하는 경우가 매우 드물다. (물론 어떠한 쪽을 택하느냐에 따라 어떤 수학이 발전할 것인가 하는 연구도 진행하지만 말이다.)  다음 장에선, 그러나 최근 집합론자들, 특히 버클리 대학의 우딘(Woodin)등 캘리포니아 학파에 의해   논설되고있는  ZFC를 넘어선 `올바른□ 수학에 대한 주장에 대해 다룰 것이다.

) 연속체 가설이란, 자연수 집합의 기수  [eqn: aleph_0]와, 실수 집합의 기수  [eqn: 2^aleph_0]사이의 기수가 없다는 것이다. 즉 자연수 집합보다 크기가 크고, 실수집합보다는 작은 무한집합이 없다는 가설이다.

) H. Woodin, ``The Continum Hypothesis, Part I'', Notices of the American Mathematical Society, Vol. 48, 2001, 567-576 쪽; ``Continum Hypothesis, Part II'', Notices of the American Mathematical Society, Vol. 48, 2001, 681-690 쪽.  우딘은 캘리포니아 지역 집합론자들(J. Steel, D. Martin 등)을 대변한다.

IV. 사영결정 공리

수학자들이 플라톤 주의를 옹호하느냐에 대한 대답과는 별도로, ZFC는 무모순하며 따라서 그것의 모델이 있을 것이고(선험적으로 존재하건 아니건 간에), 우리가 완전히 알 수는 없으나 그 중에서도 표준적인 (심지어 유일한) 모델이 있을 것이라는 생각이 필자를 포함해 캘리포니아학파의 생각이라 해도 틀리지 않겠다. 한 집합론의 명제 [eqn: sigma]가 모델 M에서 `진리□이다라는 정의를 앞장에서 했다. 이것은 어떤 면에서 모델에 따른 명제 [eqn: sigma]의 `상대적 진리□를 의미한다고 볼 수 있다. 표준적 모델이란, 그 모델에서 진리인 명제들의 `집합론에서의  절대적 진리성□을 염두에 둔 모델을 의미하는 것으로 볼 수 있겠다. 괴델의 불완전성 정리의 다른 의미는 이와 같이 `절대적□으로 진리일 수밖에 없는 명제들(예를 들어 `ZFC가 무모순 하다□는 문장의 형식화된 명제)이 ZFC상에서 모두 다 증명되지 않는다는  것이다. 대부분의 수학자들이 생래적으로 이러한 철학적 입장들을 명백히 하길 꺼리는 것이 사실이기에, 어느 정도의 수학자들이 이런 의견을 갖는지는 모르겠지만 결코 소수의 생각은 아닐 것이다.   이것이 이 장에서 다루려는 주제는 아니다. 그러나 이러한 관점을 염두에 두는 것은 이 장의 주장, 흐름을 이해하는데 유용하다. 즉 이 소고의 제목이기도 하고, 앞으로도 말할 `올바른□ 수학이란, 구태여 정확한 의미를 따진다면, 표준적 모델 안에서 이루어지는 수학이라 할 수 있겠고,  표준적 모델을 묘사하는 ZFC를 넘어선 공리를  찾았다고 주장하는 캘리포니아학파와, 반대의견들에 대해 논의하는 것이 이 장의, 또한 이 소고의 목적이다.

1. 거대기수(基數)

이 장에선 우선 거대기수들에 대해 살펴보고자 한다. II.1에서 살펴 본대로   집합들의 크기를 기수로 나타낼 수 있다.  현대 집합론에선 거대기수라 불리는 매우 큰 기수들을 다룬다. 그 기수들은 우선 자연수 집합의 서수인 [eqn: aleph_0]보다 크고, 정규기수이며, 자신보다 작은 어떤 기수에 대해서도 그 것의 멱집합의 기수보다 큰, 이 세 가지 조건을 만족하는 기수들이다.

)  무한집합의 기수 □가, 크기가 □보다 작은 집합을 □보다 작은 횟수로 합하여 □ 크기의 집합을 만들 수 없으면,  정규기수(regular cardinal)라 부른다.

) 정규기수나 거대기수(large cardinal)에 대해 집합론 교과서들을 참조하라. K. Kunen, Set Theory, North-Holland, 1983; T. Jech, Set Theory, New-York:Academic Press, 1978.

거대기수는 매우 중요하고도 신비한 성질을 갖는다. 거대기수를 통해 ZFC의 모델을 만들 수 있는데,  이로 인해, 거대기수가 존대한다는 증명을 ZFC에서 할 수 없다는 결과를 얻는다.  그 이유를 살펴보자. 먼저 `거대기수 [eqn: kappa]가 존재한다□는 명제를 [eqn: lambda]라 하자. 그렇다면 방금 말 한대로 ZFC에서 명제 [eqn: lambda]로부터 ZFC의 모델을 구성할 수 있고, 이 것은 III.2의 완전성 정리에 의해 ZFC가 무모순하다는 뜻이다. 이제 `ZFC가 무모순하다□는 문장의 형식화된 명제를 CON(ZFC)라 하자. 이상을 식으로 쓰면

(1)                              ZFC + [eqn: lambda \ ASSERT] CON(ZFC).

따라서 ZFC[eqn: ASSERT lambda]이면, ZFC[eqn: ASSERT] CON(ZFC)가 되어 괴델 정리에 반한다. 따라서 ZFC[eqn: NOT ASSERT lambda]인 이다. 그렇다면 다음 가능성은, 연속체 가설의 경우처럼, ZFC + [eqn: lambda]가 무모순 한 것을 보일 순 없느냐는 것이다.  즉, 식으로 쓰면

(2)                          ZFC[eqn: ASSERT]CON(ZFC)[eqn: ->]CON(ZFC + [eqn: lambda])

인지 여부의 질문이다. 그러나, 만일 (2)가 성립하면, (1)에 의해

(3)                         ZFC + [eqn: lambda \ ASSERT] CON(ZFC + [eqn: lambda])

가 되어 역시 괴델의 정리에 모순된다. 따라서, (2) 가 성립하지 않고, 이는 ZFC + [eqn: lambda]가 무모순 한 것을 보일 수 없다는 뜻이 된다. 한편으로  ZFC에서 [eqn: lambda]의 부정, 즉 거대기수가 존재하지 않는다는 증명을 할 가능성은 언제나 열려있다.

놀라운 것은 많은 현대 집합론자들은 거대기수가 존재하지 않는 것을 증명하는 것에 매달리기는커녕, 전혀 반대로, 존재하는지  알 수 없을 뿐, 실체적으로 존재할 것이라 믿으며 거대기수와 그에 따른 인과관계 연구에  매진하고 있다. 즉, 거대기수의 존재가 표준적 집합론에서 진리일 것이며, 그 것의 결과로 ZFC에서 답할  수 없는 비 결정 문제들에 대한 답이 가능하리라 보는 것이다.   반세기가 다 되는 동안, 거대기수가 존재한다는 그들의 믿음을 강하게 주장한 예는  찾기 힘들다. 하지만, 최근  하비 프리드만(Harvey Friedman)은 수리논리학자가 아닌 일반 수학자, 심지어 일반인이 이해할 수 있는 기초적인, 정수에 관한 산술의 한 명제가 ZFC에서는 증명되지 않으면서도,  거대기수의 존재를 가정한 상태에선 증명할 수 있음을 보여 관심을 끌고 있다. 어찌 보면 수학자가 할 수 있는 최선의 방법을 동원하여 거대기수의 정당성을 외치고 있는지도 모르겠다.

)  실버(J. Silver)가 측도가능 거대기수(measurable large cardianl)의 존재부정을 시도하다 실패한 예가 있긴 하다.

) 다음을 참조하라. M. Davis ``Book Review - `Logical Dilemmas: The Life and Work of Kurt G□del' by J. Dawson", Notices of the American Mathematical Society, Vol. 48. 807-813 쪽.

2. 사영(射影)결정 공리

이제 사영결정 공리를 논하기 앞서 필요한 정의들을 나열하자.

정의 3) 실수집합의 n-차원 공간 [eqn: □^n]의 개집합에서 유한횟수로, 사영하거나 여(餘)집합을 취하여 얻어진 집합을 `사영집합□이라 부른다.

)  개집합(open set), 폐집합(closed set)은 위상수학(Topology)의 기본 개념이다. 점 x가  [eqn: □^n]의 원소일 때 x를 중심으로 하고 반경이 □인, n-차원 공을 D(x,□)={y□[eqn: □^n] | d(x,y) <□}(여기서 d(x,y) 는 x와 y 사이의 거리이다)라 하자. A가  [eqn: □^n]의 부분집합 일 때, 모든 A의 원소 z에 대해 적당한 □이 있어, D(z,□)이 전부 A에 포함되면 A를 개집합이라 한다. B가 개집합의 여집합일 때 B를 폐집합이라 부른다.

) [eqn: A'= \{ < x_1 , ... , x_n-1 > IN □^n-1 | \ EXIST x_n < x_1 , ... , x_n-1 , x_n > IN A \}]는 [eqn: □^n]의 부분집합인 A를 사영하여 얻는 집합이다.    따라서, 예를 들어 [eqn: \{ < x_1 , ... , x_n-1 > in □^n-1 | \ < x_1 , ... , x_n-1 > not in A' \}]

는 A'의 여집합이므로  A가 개집합이었다면, A'은 사영집합이다.

정의 4)  집합 [eqn: A]를 [eqn: [0,1] = \{ x IN □ | 0 LEQ x LEQ 1 \}]의 부분집합이라 하자. 두 사람 I, II가 (무한)시행하는 게임 [eqn: G_A]를 다음과 같이 정의한다. I이  시작해서 [eqn: epsilon_1]을 [eqn: 0]이나 [eqn: 1]에서 정한다. II가 다음으로 [eqn: epsilon_2]를 역시  [eqn: 0]이나 [eqn: 1]에서 정한다. 계속해서 I은 홀수[eqn: i]회에서   [eqn: epsilon_i]을 [eqn: 0]이나 [eqn: 1]에서 정하고, II는 짝수[eqn: i]회에서  [eqn: epsilon_i]을 [eqn: 0]이나 [eqn: 1]에서 정한다. 만일 [eqn: 0]과 [eqn: 1]사이의 수 [eqn: SUM from { { i}=1} to inf epsilon _i \ 2^-i]가 [eqn: A]에 속하면 I이 이기고, 그렇지 않으면 II가  이긴다.

만일 [eqn: A]가 [eqn: \{ 1 \}]이라 할 경우, I이 모든 경우 [eqn: 1]을 택해도,  II가 한번이라도 [eqn: 0]을 선택한다면 II가 이기게 된다.  이런 식으로 I 이나 II에게 있어서 `승리 전략□이라는 용어를 정의할 수 있다. 경기자 I 또는 II의 승리전략을 세울 수 있다면 게임 [eqn: G_A]가 결정가능하다고 말한다.

사영결정 공리)  집합 [eqn: A]가 [eqn: [0,1]]의 임의의 사영 부분집합일 때, 게임 [eqn: G_A]는 항상 결정가능하다.

일견 거대기수와 관련이 없어 보이는 이 사영결정 공리는 실은 거대기수와 매우 깊은 관련을 갖고 있다. 우딘 교수의 이름을 딴, 우딘 거대기수가 무한히 많이 존재하면 사영결정공리가 성립한다는 매우 중요한 정리가 있다. 또한 사영결정 공리가 성립하면  모든 자연수 [eqn: k]에 대해, `ZFC + 우딘 기수가 [eqn: k]개있다□가 무모순 하다. 이것은 거대기수가 그러하듯이 사영결정 공리도 ZFC를 벗어난 명제임을 보여준다.  캘리포니아 집합론자들이 사영결정 공리가 옳다고 하는 이유는, 이 사영결정 공리를 ZFC에서 가정함으로  ZFC에서 결정할 수 없는 많은 실수의 성질들을 `옳게□ 결정해 주기 때문이다. 예를 들어 사영결정 공리 하에서, 모든 사영집합은 측도가능(measurable)하며  모든 셀 수 없는  무한 사영집합은 셀 수 없는 폐집합을 부분집합으로 갖는다.  이러한 문제들을 ZFC에서 해결하려다 성공하지 못했던 학자들의 입장에서 보면, 한 공리를 첨가하는 것으로 많은 관련된 문제들이 깨끗하게 해결되는 것을 보면, 그 공리는 옳은 공리임에 틀림이 없다는 것이다. 실수의 성질을 해결해 주는 것 외에도,  우딘은 거대기수와 관련된 공리나, 마틴(D. Martin)의 위상수학적 공리의 연관성을 들어 사영결정공리의 정당성을 입증하려 한다. 그 외에도 좀더 복잡한 집합론적 구조 하에서 스타공리에 대해서도 언급하는데, 스타공리도 역시 옳은 공리라고 주장하고 있으며, 그 공리는 더 강력해서 연속체문제에 대한 답을 제공하여, [eqn: 2^aleph_0 = aleph_2]가 유도되므로 연속체 가설은 거짓이라는 것이다.  캘리포니아 학파 구성원 모두가 일관된 생각을 하고 있다고 볼 순 없으나, 적어도 사영공리가 바른 공리라는 것은 공통으로   언급하고 있다. 그들이 이같이 주장하는 올바름이란 기존의 수학자들이 증명과정을 통해 진리를 입증하려했던 것과는 확연히 다른 것이다.   이 공리들은 우선 ZFC상에서 결정되는 것이 아니기에, 전통의 증명으론 (그것은 ZFC안에서 이루어지기에) 진위가 결정되지 않는다. 그렇다고  ZFC 공리들같이 증명 없이 공리로 받아들일 수 있을 정도로 자명한 공리들도 아니다. 이것의 정당성은 결국 이제껏 수학에서는 수행되지 않았던 `경험□을 통해 가능하다는 것이다.  즉 이 문제들을 접하고 생각하는 수고와 노력의 과정을 통해야 이 들의 정당성을   인식하게 된다는 것이다.

) 이하 H. Woodin, ``The Continuum Hypothesis, Part I, II" 참조.

) 셀 수 있는 집합은 크기가  [eqn: aleph_0] 보다 작거나 같은 집합이고, 그 외의 무한 집합은 모두 셀 수 없는 집합이다.

V. 전망

필자에게 현 캘리포니아 학파의 주장은 매우 획기적인 것으로 보인다. 이 소고에서 요약 한대로 지난 세기 초 수학자들의 수학 기초에 관한 첨예한 공방과 논란 이후, 수학 기초론의 문제에 관해 주요 쟁점이 될만한 굵직한 사건은  최근까지  찾기 힘들다고 본다.  캘리포니아 학파가  새로운 논쟁의 시작을 원하는 것인지는 알 수 없다.  그들의 주장에 세련된 표현력이나 논의를  쟁점화하고 논점을 전개하는  인문학적 방법론이 부족한 것은 사실이나, 서구 수학의 역사를 통해 전례 없던, `경험적 방법□으로 수학의 진리를 인식할 수 있다는 새로운  주장인 것만은 분명하다. 물론 모든 집합론자가 그들의 의견에 동조하는 것은 아니다.  미국 수학회보 최근호에는 캘리포니아 학파를 반박하는  쉘라(Shelah)의 글이 실려있다. 쉘라는  다음과 같은 이유로 그들의 주장을 강하게 부정한다(strongly reject). 첫째, 공리를 첨가하여 문제들을 깨끗하게 해결하는 것이 그 공리가 `올바른□ 공리라서 그렇다는 충분한 이유가 될 수 없다.  둘째, 그들이 그 공리를 선택하게 된 동기에는 실수와 관련된 문제들에 대한 관심이 자리잡고 있는데, 만일 다른 분야의 문제들에 관심을 갖는다면, 또 거기에 적합한, 사영결정 공리와 다르거나 반할 수 있는 공리를 생각하게 될 것이다. 셋째, 실수에 관한 문제들로 국한한다 해도, 한 공리만 옳다고 할 때 여러 의미 있는 구분들이 사라지게 된다.

) S. Shelah, ``Logical dreams", Bulletin of the American Mathematical Society, Vol. 40, 2003.

필자가 캘리포니아 학파나 쉘라의 반박 중 어느 쪽이 옳다고 말할 위치에 있다고 생각진 않는다. 그들 자신도, 이런 문제를 가지고 깊이 공부하고 연구해 본 연후라야 진리성을 알 수 있다고 하지 않았던가.  다만 필자의 수학을 공부하고 연구했던 경험에 비춰보면, 수학에서 아름다움이란 단지 미학적 필요를 위해 존재하는 것 이상이다. 수학 분야가 발전할 때, 여러 가지 가능성 있는 정의들 중 하나를 택하는 것은 그 정의가 얼마나 관련된 이론들에 맞아떨어지고, 전체 구조에서의 적합성을 가지고 있느냐에 달려있다. 정의에 따른 결과가 만족스럽지 못한 것이라면 때론 정의가 폐기되고 대치되는 경우도 있다. 전체구조와 이론의  아름다움에 근거한 바른 정의는, 정의 당시에는 모르나 수십 년이 흐른 후 엄청난 결과들을 파생시키는 것을 필자 자신이 목격한 바이다.  이러한 관점에서 보면 사영결정 공리를 통해 많은 실수에 관한 문제들이 `아름답게□ 해결되므로 그 공리가 옳다는 주장을 충분히 납득할 수 있다. 또한 수학은 거대한 퍼즐의 조각을 맞추는 것처럼, 한 분야의 관심을 그 분야의 방식으로 발전시키고 해결해 나가는 것이 다른 분야의 탐구와 발전에 상충되기는커녕,  궁극적으론 서로 연결되어 전체의 이해를 증진시키는 것이다.  경험을 통해 진실을 인식한다는 주장은, 수학에서는 새로울지 몰라도 타학문의 영역에서는 거부감을 일으키지 않는다. 그러나 필자 역시 쉘라의 세 번째 반박에서처럼, ZFC를 벗어난 특정 공리의 진리성을 지나치게 주장함으로 의미 있는 다른 수학의 발전이 막히게 되는 것은 바람직하지 않다고 본다. 수학의 표준적  모델이 유일하다고 믿는 여부와 상관없이, 수학 연구의 원동력은 주의, 주장에 부합함이 아니라,  진리와 아름다움의 자유로운 추구에 있다고 보기 때문이다.

지난 세기의 논쟁은 거대한 결실을 거두어 수리논리학의 태동과 여타 학문에 영향을 미쳤다. 새로우나 상대적으로 매우 조용히 시작되고 진행되는  이 논쟁이 어떻게 귀결될 것인지 주목된다. 집합론자뿐 아닌 다른 분야의 수학자나, 또는 철학자들이 이 논쟁에 합류한다면 어떻게 될 것인 가도 흥미롭다. 새 세기 수리논리학의 지속적 도약으로 이어진다면 더할 나위 없겠다.