20세기 과학의 발전은 지난 수 천년 동안 인류가 이뤄낸 것을 훨씬 능가할 만큼 폭발적이다. 이는 18, 19세기 수학의 엄청난 진보에 기인함은 이론의 여지가 없다. 그러나 당시의 수학의 발전에는 엄밀성이 확보되지 않아 문제점들이 많이 대두됐다.
이런 난점들을 타계하고자 수학의 기초를 세우는 도구로 칸토어(Georg Cantor)의 집합론이 19세기 말에 나타났다. 그러나 칸토어의 집합론조차도 러셀의 역설(Russell’s paradox)에 의해 그 논리 체계의 무모순성에 도전을 받게 됐다. 이런 시대적 배경에서 ‘현대 수학의 아버지’라 일컫는 힐베르트(David Hilbert)는 ‘수학을 잘 형식화하면 그 형식체계가 무모순임을 유한하고 분명한 방법으로 증명할 수 있다’는 형식주의와 이를 연구하는 힐베르트 프로그램을 이끌었다.
그러나 힐베르트와 많은 수학자들의 꿈은 20세 초반의 젊은 수학자 괴델(Kurt Godel)의 ‘불완전성 정리’에 의해 부서지고 말았다. 오스트리아 출신의 괴델은 1931년에 ‘어떤 체계가 모순이 없고, 그 체계의 공리를 판별할 수 있는 구현 가능한 방법이 존재하며, 산술의 시스템이 있으면, 증명도 반증도 안 되는 명제가 그 체계 내에 반드시 존재한다. 또한 그 체계로부터 자신의 체계가 모순이 없다는 것을 증명할 수 없다’는 이론을 발표했다. 즉 수학이 모순이 없는 체계이면, 수학은 자신의 체계로부터 그 무모순성을 증명할 수 없다는 것이다.
괴델의 불완전성 정리는 수학뿐 아니라, 신학, 철학, 인식론, 언어학, 현대의 인지과학에까지 많은 영향을 끼쳤다. 또한, 튜링(Alan M. Turing)과 본 노이만(John von Neumann) 등은 괴델이 설정한 가정 ‘공리를 판별할 수 있는 구현 가능한 방법’으로부터 컴퓨터 설계의 이론을 발전시켰다.
괴델의 불완전성정리는 인간이 추구하는 논리의 한계를 논리적으로 증명하므로, 인간 인식에 한계가 있음을 보여준 세기적 사건이 됐다. 한계에 대한 인식, 이것이 유한한 존재로서의 우리가 인식해야 하는 또 하나의 과제가 아닌가. 한 해를 지나는 시점에서 인간의 한계를 생각하게 된다.
울산대 교수·수학과