신의 영역이라 불리는 무한의 개념을 사람이 언제부터 인지했는지는 정확하지 않으나, 수학에서 무한대 기호(∞)는 1655년에 영국 수학자 윌리스가 처음 사용했다. 19세기 수학자인 칸토르는 금기시 되어온 무한의 개념을 수학적으로 처음 제시해 수학계와 사회 전체에서 엄청난 비난을 받았다. 칸토르 이전에는 무한이란 수학적으로 가치가 없는 존재로 여겼다.
칸토르는 집합과 집합 사이에 일대일 대응이라는 개념으로 무한 집합 뿐만 아니라 무한 집합의 크기를 정의했다. 일대일 대응 관계란 두 집합 사이에 서로 다른 원소를 동일한 원소로 보내지 않은 함수를 말한다. 두 집합 사이에 일대일 대응 함수가 있으면 두 집합의 크기는 같은 것으로 정의했다. 원소의 개수가 유한인 유한 집합에서는 원소의 개수가 같아야만 두 집합 사이에 일대일 대응 관계가 이루어진다.
그런데 원소의 개수가 무한인 집합에서는 어떤가. 예를 들어 자연수 집합과 짝수 집합의 경우를 보면, 짝수 집합이 자연수 집합의 부분 집합이지만, 두 집합 사이에는 일대일 대응 함수가 존재한다. 따라서 두 집합은 무한 집합으로 크기가 같은 집합이다. 자연수 집합과 유리수 집합도 일대일 대응 함수가 존재해 집합의 크기가 같다. 칸토르는 이어서 실수 집합과 유리수 집합 사이에는 일대일 대응 관계가 있을 수 없음을 증명해, 실수 집합은 유리수 집합보다 크기가 큰 무한 집합임을 증명했다. 즉 무한 집합에서도 여러 종류 크기의 무한 집합이 있고, 무한 집합의 크기의 종류는 무한임을 보였다.
이어서 칸토르는 ‘유리수 집합보다 크지만 실수 집합보다 작은 무한 집합이 존재하는가’라는 유명한 ‘연속체 가설’을 제시하는데 해결하지는 못한다. 후에 괴델이 연속체 가설이 수학에서 ‘부정되지 않는 명제’임을 증명하는데 성공한다. 이어, 1960년대에 코헨이 연속체 가설이 ‘증명도 되지 않는 명제’임을 밝힘으로써 연속체 가설이 괴델의 불완정성 제일 정리인 증명도 부정도 되지 않은 가설임이 밝혀진다. 코헨은 그 업적으로 수학자 최고상이라 할 수 있는 필드상을 받는다.
자기 자신의 진부분과 동일시될 수 있는 무한의 세계는, 유한한 우리와 크게 다르나 항상 공존해온 세계이다.
장선영 울산대 교수·수학과