생일을 기다리며 작은 손가락을 헤아리던 유년 시절의 수는 행복을 주는 존재였다. 다섯 손가락을 가득 채운 선물의 수는 배부른 만찬 같은 것이었고 열 손가락을 넘어서는 수는 가늠할 수 없는 우주의 밖이었다. 하지만 익숙한 두 자연수도 서로 나누다 보면 과자 부스러기가 떨어지듯 소수점 이하 자리에서 숫자가 등장한다. 막 잠근 수도꼭지에서 떨어지는 물방울처럼 한 두 개의 숫자만 나열하다 멈추기도 하지만(1/4=0.25), 같은 숫자가 계속해서 반복될 수도 있다(2/3=0.6666...). 그런데 (√2 =1.414213562...)는 아무 말이나 내뱉는 광인의 독백처럼 소숫점 이하 자리에서 규칙을 찾을 수 없는 숫자들을 무한히 만들어 낸다.

피타고라스 학파에게 수는 종교였다. 그들은 변화하는 세상의 이면에는 불변의 본질이 존재하고 그 이상적 세계는 자연수의 비율로 표현되는 분수로 드러난다고 믿었다. 하늘로 올라가듯 음이 높아지는 동안 12음계를 반복하며 12조(key)의 조화로운 주기성이 나타나는 음악이 그렇고, 12개월 동안 느리게 회전하는 12개의 별자리가 그렇다. 그리고 이 모든 신비의 비율은 도형의 모습 속에도 내재해 있다. 구약 성경의 야곱이 낳은 12명의 아들에서 비롯된 12지파와 신약 성경의 예수를 따르던 12명의 제자는 우연의 일치일까? 피타고라스가 천문학과 기하학을 습득한 이집트와 바빌로니아에서는 이미 7, 12, 24, 360 같은 우주의 수뿐만 아니라 직각삼각형을 만들어 낼 수 있는 다양한 세 자연수의 조합을(3²+4²=5²) 알고 있었다. 단순히 공식으로만 외우고 있었던 피타고라스 정리는 도형과 숫자로 표현한 우주적 경전의 한 구절이었던 셈이다.

그런데, 피타고라스 학파의 한 제자가 특정 직각삼각형의 빗변 길이는 그 어떤 자연수의 비율로도 표현할 수 없다는 것을 알아냈다. 예를 들어 서로 수직한 두 변의 길이가 모두 1인 직각삼각형의 빗변 길이는 자연수의 비로 표현할 수 없는 무리수다 (1² + 1² = (√2)² ). 자연수는 세상의 표상이고 불변의 본질이 자연수 비로 표현되어야 한다면 √2는 조화의 본질인 자연수의 세상 밖에서 침투한 악이고 이단이다. 그 제자는 추방되었고, 자살했거나 죽임을 당했다는 소문이 돌았다. 만약 감추고 싶은 ‘수포자’ 삶의 첫걸음이 √2 에서 시작되었다면 이제는 자신에게 자학이 아닌 위로의 말을 건네길 바란다. 이단의 형벌만큼 힘든 충격을 삭여야 했던 당신의 심정은 2,500여 년 전 그들처럼 지극히 자연스러운 것이었다.

수는 무엇일까? 이를테면 2는 이 세상 어디에 있을까? 종이 위에 각기 다른 방식으로 적힌 二, II, Two나 두 개의 사과를 보며 떠오르는 그것은 지금 어디에 있을까? 수는 세상이라는 대상을 의미화한 관념의 존재지만 개인의 주관적 생각으로만 머물지 않고 언어처럼 공통의 규칙으로 존재한다. 그러면 그 규칙은 누가 만든 것일까? 누구나 도달하게 되는 진리의 세상이 정말 어딘가 존재하는 것일까? 여러 줄기의 강을 거슬러 오르다 마침내 만나게 되는 원류처럼, 불변의 하나로 존재하는 Monad의 1은 플라톤의 이데아 세상에 존재하는 것일까? Dyad의 2는 아이를 출산하는 여자, 남녀, 밤낮이라는 분열과 대립의 모습을 통해 인간에게 자신의 존재를 알려주고 싶은 것일까? 인간이 시간을 과거, 현재, 미래로 구분하거나 삼위일체(Trinity)나 힌두교의 3신(Brahma, Vishunu, Shiva) 교리를 생각해 낸 것은 모두 이데아에 존재하는 Triad 때문일까?

견고해 보였던 고전 수학의 성전은 수와 기하의 기둥으로 지어져 있었다. 그런데 19세기부터 평면의 유클리드 기하와 완전히 다른 곡면의 비유클리드(Non-Euclidean) 기하가 등장하면서부터 수리 철학자들은 다시 자연수로 돌아가 그 의미를 파고들기 시작했다. 작은 손가락을 펼치며 세상과 수의 관계를 알아가던 유년의 기억을 소환하듯, 그들은 세상과 수의 관계를 찾으려 했다. 어떻게 2를 세상과 온전하게 관계 지을 수 있을까? 두 개의 사과 혹은 하마와 코끼리라는 두 마리의 동물처럼, 2를 떠올릴 수 있는 세상의 모든 것들을 불러 모은 뒤 그 무리의 집합을 2라고 부르면 될까? 임산부나 이중인격자들은 2의 집합에서 제외되어야 할까?

예컨대, 저지른 죄가 형법의 특정 범주에 속할 조건을 충족하므로 그 죄에 해당하는 벌을 집행한다는 ‘집합’과 ‘논리’를 수의 의미 파악에 활용하려는 20세기 초 ‘논리주의’ 수리 철학자들의 발상은 혁신적이었다. 러셀과 화이트헤드가 공동 집필한 ‘수학 원리(Principia Mathematica)’에서는 무려 300페이지에 달하는 1+1=2의 증명을 볼 수 있다. 하지만 1과 2라는 두 개의 원소로 구성된 집합 {1, 2}는 어떤가? 마치 나와 똑같은 나를 뱃속에 품고 있는 것처럼 집합 2가 자신과 똑같은 2를 품어도 괜찮은 것일까? “나는 지금 거짓말을 하고 있다”라고 말하는 거짓말쟁이의 말은 참/거짓 여부를 판단할 수 없다. 세상을 나누고 구분하던 날카로운 칼끝이 자기 자신을 향하는 순간 논리의 이데아는 혼돈의 심연 속으로 추락한다.

반면, ‘직관주의’ 수리 철학자들은 인간적 인지 관점에서 수를 바라본다. 1, 2, 3 같은 자연수는 집합과 논리의 복잡한 설명 없이 평범한 인간이라면 누구나 직관적으로 구분할 수 있는 대상이라는 것이다. 실제 생후 1년이 되지 않은 아기나 원숭이, 개, 까마귀, 꿀벌도 수의 개념을 지니고 있다는 증거가 연구자들에 의해 밝혀지고 있다. 논리주의자들이 집합적 논리와 명제의 구조에 과도하게 매달리는 반면 직관주의자들은 지나치게 인간적이다. 이들은 명제를 ‘참’과 ‘거짓’으로만 구분하는 것을 거부한다. 그러므로 어떤 명제를 ‘거짓’이라고 가정한 후 얻어낸 모순적 결론을 통해 그 명제가 ‘참’이라는 것을 증명하는 귀류법도 사용할 수 없다. 또한, 인간이 지각할 수 없다는 이유로 ‘무한’조차 거부한다. 이렇게 그들의 견해는 기존의 수 개념과 너무도 다르지만 아주 최근에는 양자물리학의 비결정론적 특성을 직관주의자들의 수학으로 설명할 수 있을 것이라는 이론이 등장해 많은 주목을 받고 있다.

한편, 힐베르트는 수학은 세상을 표상한 명제의 집합이나 직관적 경험의 산물이 아니라 단지 게임처럼 규칙에 따라 작동하는 형식일 뿐이라는 ‘형식주의’를 추구했다. 공리로 출발해 정리와 명제를 도출하는 과정에 아무런 모순이 없다면 그 수학의 세상이 현실과 달라도 상관없고, 다른 공리로부터 만들어진 또 다른 수학의 세상이 공존해도 두 세상을 평행우주처럼 받아들이자는 견해다. 따라서 ‘논리주의’처럼 굳이 세상과 연결해 철학적 의미를 찾으려 애쓰거나 ‘직관주의’처럼 인간적 관점에 매달릴 필요도 없다. 대신 게임 같은 규칙의 세계가 수학적 견고함을 유지하기 위해 그 기반이 되는 공리는 ‘완전성’과 ‘무모순성’이라는 조건을 충족해야 한다. 그러나 괴델의 ‘불완전성의 정리’는 그런 공리가 불가능하다고 말한다. 이 세상의 창조자처럼 형식의 내부에서 모순 없는 완전한 수학의 우주를 창조하고 싶었던 힐베르트의 꿈은 그렇게 무너져 버렸다.

흔히 수학은 문제를 푸는 것이라는 편견을 지니고 있다. 하지만 정작 수학과에서는 문제 풀이보다 증명과 이론의 논리 구조 이해에 많은 시간을 보낸다. 오히려 실용적 수학 문제 풀이나 계산은 공대생들이 더 잘할 수 있다. 다양한 문제 풀이가 개념형성에 도움을 줄 수는 있지만, 문제를 푸는 것이 수학의 본질은 아니다. 겉으로 보면 수학의 역사가 문제 풀이의 역사처럼 보일 수도 있지만, 수학 문제는 수도승의 화두처럼 새로운 사유의 세상으로 이끄는 문이고 길이다. 증명과 답을 찾아가는 서사적 여정을 인간적 관점에서만 보자면 수학은 사상이고 창작이다. 하지만 한국 학생들에게 수학은 그저 제한 시간 안에 문제를 풀어야 하고 자신이 적은 답안지는 모범답안과 비교될 뿐이다. 정답을 비껴간 자신만의 생각을 타인들에게 설명할 기회는 없다. 그것은 감춰야 하는 부끄러운 흔적일 뿐이다.

이제부터라도 점수나 오답에 대한 강박에서 벗어나 수학의 진정한 ‘의미찾기’를 시도해 보자. 우선은 사랑하는 사람을 바라보듯 긴 시간 동안 수와 도형을 침묵 속에서 응시하라. 한동안은 아무런 변화가 없을지도 모른다. 하지만 짝사랑을 하듯 계속해서 떠올리며 기다려 보라. 불현듯 그것들이 당신에게 말을 걸거나 다가올 것이다. 그것은 수학의 모습일 수도 있고, 시나 동화의 이야기일 수도 있고, 그림, 음악, 춤 같은 비언어적 방식의 영감일 수도 있다. 제법 오랜 시간 동안 그 길을 따라갔다면 다른 길을 선택한 이들과 한 장소에서 만나는 놀라운 경험도 하게 될 것이다. 하지만 물리학은 이런 수학의 추상적 세계에만 머물지 않는다. 물리학은 수학적 추상의 세상과 감각 체험의 물질 세상 사이를 넘나들며 수학적 언어와 개념으로만 존재했던 것들이 현실의 물질에 실재함을 확인한다. 앞으로 이 신비로운 여행을 떠날 분들께 수학자이자 물리학자인 ‘앙리 푸앵카레’의 말을 전해주고 싶다.

"하지만 이 질문은 우리를 아주 먼 곳으로 이끌 것이다."

◇김광석 교수

▷부산대학교 나노과학기술대학 광메카트로닉스공학과 교수, 나노물리학자
▷양자점, 양자링 같은 인공나노구조물이나 나노소재에서 일어나는 양자광학적 초고속현상을 주로 연구하고 생체조직의 광영상기술도 개발한다.
▷10여 년간 과학영재 고등학생 대상의 다양한 실험프로젝트를 운영 중이며 국제신문 <과학에세이> 칼럼 필진으로도 참여하고 있다.

인저리타임 김광석 KKyhm@injurytime.kr 김광석의 기사 더보기

저작권자 ⓒ 인저리타임, 무단 전재 및 재배포 금지