수학에서 가장 난제가 많은 분야가 소수일 것이다. 소수에 대한 최초의 의문은 ‘소수가 무한한가’라는 것이다. 왜냐하면 수가 커질수록 그 수가 1과 자기 자신 외에 다른 수로 나누어질 수 있는 가능성이 크기 때문이다. 소수의 무한성에 대해서는 놀랍게도 B.C 3세기에 유클리드가 증명을 하였다.
3과 5, 5와 7 같이 차이가 2인 소수들을 ‘쌍둥이 소수’라 하는데 ‘쌍둥이 소수가 무한히 많은가’라는 ‘쌍둥이 소수 문제’가 있다. 유클리드도 이 문제를 생각했다는 주장이 있긴 하지만 아직 미해결이다. 2013년에 중국계 미국 수학자 이땅 장이 두 수의 차이가 7000만 이하인 소수의 쌍이 무한하다는 것을 증명하므로 이 문제 해결에 한 걸음 다가왔다고 볼 수 있다. 현재까지 발견된 쌍둥이 소수 중에 가장 큰 쌍둥이 소수는 2996863034895인데 십진법으로 그 자릿수가 388342이라 한다.
1742년에 독일의 골드바흐는 수학의 대가 오일러에게 ‘2 보다 큰 정수는 세 소수의 합으로 표현할 수 있다’는 내용의 편지를 보냈다. 골드바흐는 1도 소수로 보았는데 일반적으로 1은 소수로 보지 않는다. 오일러가 이 편지를 유심히 본후 ‘2보다 큰 짝수는 두 소수의 합으로 표현할 수 있다’로 고치는데, 이를 ‘골드바흐의 추측’라 하고 아직 미해결이다.
소수의 분포는 매우 불규칙적으로 보인다. 그런데 19세기의 수학의 거장 가우스는 1부터 숫자 N까지 소수의 개수가 N/(1+1/2+1/3+…+1/N)에 가깝다는 것을 손으로 계산하여 알아냈다. 이 식은 이후에 ‘소수 정리’로 발달하는데, 어떤 수 N이 무한히 크다면 1부터 N까지 소수의 개수는 N/lnN개라는 것이다. 가우스는 이 정리를 이용해 어떤 큰 수 N이 소수일 확률은 1/lnN이라는 것도 알아냈다.
그 외에도 소수의 난제에는 현재 수학의 난제 중 가장 어렵다는 ‘리만 가설’이 있다. 일반인에게는 설명자체가 난해한 가설이지만 그 중요도는 가장 크다. 장선영 울산대교수·수학과