정의는 진리인가: 엡실론-델타 논법이 남긴 찝찝함의 정체

1. ε-δ 논법의 기원

'극한' 개념이 활용되는, 이 개념의 기원이 된 대표적인 문제로 접선문제와 속도문제가 있다. 접선문제는 접선의 기울기를 구하는 게 어려워서 할선의 기울기를 극한으로 보내는 문제이고, 속도문제는 순간속도를 계산하는 게 어려워서 평균속도를 극한으로 보내는 문제이다. 둘 다 값을 간접적으로 계산하려 '극한'이라는 개념을 등장시켰고, x값을 원하는 지점까지 점점 다가가게 함으로써 수렴하는 값을 도출하는 내용이었다. 

역사적으로 접선문제와 속도문제는 '극한' 개념의 핵심 출발점 중 하나가 맞다. 18세기까지 뉴턴과 라이프니츠를 중심으로 '무한히 작은 변화량'이라는 직관을 이용하여 '극한'이라는 개념을 정의하고 미적분이라는 학문을 정립했다. 그당시까지는 현대에 논하는 '극한의 엄밀한 정의'와 같은 논리적 논의 없이, '무한히 작은 것' 혹은 '무한히 가면', '끝없이 가까이 가면' 등의 표현을 썼고, 놀랍게도 대다수의 매끄러운 함수들에 대해 그 직관적 개념이 잘 맞아떨어졌기에 문제가 없었다.

그런데 18세기 후반쯤 와서 '찝찝함'이 실제 문제로 터지기 시작한다. 잘못 다룬 무한급수에서 말도 안되는 결과가 나오기도 하고, 연속이 아닌 이상한 함수들이나 도함수가 존재하는지가 헷갈리는 함수들이 나타나기도 하고, 근본적으로는 '무한히 작은 것'이라는 표현이 정확히 무엇이냐는 철학적/논리적 불만도 터져나왔다. 그런 찝찝함을 해결하기 위해 조금 더 엄밀한 정의가 필요하게 되었고, 그리하여 19세기에 들어, Cauchy, Bolzano, Weierstrass 같은 사람들이, "우리가 쓰는 극한의 직관을 정확히 언어로 못 박자"라고 해서 나오게 된 것이 바로, ε-δ 논법이다. 그래서 이 정의는, 이런 관점에서 일종의 '해명의 도구'라 할 수 있다. '이미 직관적 개념으로 잘 쓰던 것을, 나중에 뒤쫓아가며 해설·번역·해명한 정의'인 것이다.

2. ε-δ 논법에 대한 의심

형식논리학에 익숙하여 더 깊은 사고에 진입한 사람이라면 약간의 찝찝함이 생기는 지점이 있다. 'p → q'라는 조건식은 p가 실제로 참인지 거짓인지와 무관하게 p가 참일 때 q가 참이기만 하면 이 조건식은 참이 된다. 기초미적분에는 여러 가지 함수의 극한을 철저하게 ε-δ 논법만을 가지고 증명하는 문제들을 마주하게 되는데, 이 문제들은 결국 '예제에 주어진 함수의 극한값이 왜 그렇게 계산되는지'를 엄밀하고 타당한 논리로 증명하는 것 같지만, 모두 전제가 참이라는 가정 하에 식 전개가 가능한 것들이다. 따라서, '그래서 결국 그 정의는 왜 만족되어야 하는지', '그 정의는 왜 타당한지'에 대해서는 해당 문제가 말해주는 바가 없는 것이다. 과연 이 정의는 그냥 받아들이고, 그 이후에 예제문제의 풀이과정과 같은 내용들에 대해서만 엄밀한 논리학적 지식을 활용하면 되는 것일까?

3. 논리학에서의 정의

'논리학' 관점에서 '정의'란 뭘까? 논리학에서는 참/거짓, 즉 진위를 판별할 수 있는 문장을 '명제'라 하고, 두 명제를 '이면'이라는 말로 연결해놓은 것을 조건문이라고 한다. 여기에서 '정의(definition)'는, 조금 다른 위치에 서 있다. 논리학에서 새로운 말을 도입할 때는 보통, "우리는 앞으로 A를 B의 약어로 쓰겠다'고 약속한다"라며 명제의 형식으로 새로운 말을 도입한다. 논리학에 등장하는 이러한 내용은, 명제가 아니라 '새로운 기호를 이러한 형식으로 쓰자'라는 뜻에서 일종의 규칙이자 약속에 가깝다. 증명대상이 아니다. 그냥 '앞으로 이렇게 쓰겠다'고 약속한 것이고, 이 약속이 세워진 이후에야 비로소, 우리가 참/거짓을 판별할 수 있는 명제들이 등장하게 된다. 형식논리학이 여러 종류의 학문을 전개하는 데 있어 어떤 지위를 가지는지 다시 한번 생각해볼 수도 있는 대목이다.

4. 정의의 참거짓을 따져야 하는가?

사실 해석학을 깊이 공부하는 입장에서는, 그냥 정의를 받아들여도 된다. 아니 그래야 한다. 해석학은 그 기저의 공리체계를 인정하고, 그 위에서 내용을 전개한다. 무언가를 약속한 이후부터 성립하는 전제와 결론 형태의 논리적 추론인 것이다. 예를 들어, '실수의 성질'과 '극한의 정의'를 전제로 깔고, 그 위에서 '극한이 유일하다'나 '합·곱의 극한법칙이 성립한다'와 같은 정리를 증명하는 형태. 실제로 해석학이 하고 있는 일이 그런 일이기 때문에, "정의는 그냥 받아들이고, 이후의 내용만 모두 형식논리로 전개해나간다"고 생각하는 게 맞다. 

5. 정의 자체에 대한 더 깊은 고찰과 어떻게 받아들여야 하는지에 관한 답변

그럼에도 불구하고 정의 자체를 다시 생각해보고 싶은 마음은 뭘까? 메타레벨(meta-level)에서 생각해보자. 메타 레벨(meta-level)에서는, 이런 논의를 해볼 수 있다. '이 정의가 텅빈 개념은 아닐까?'

정의가 약속이라면, 만약 그 정의가 실제로 어떤 현상이나 구조도 설명할 수 없는 것이라면, 그 약속은 너무 허망해진다. 무시무시한 조건으로 정의를 해놨더니, 어떤 함수도 어떤 점도 그 조건에 만족하지 않는다면, 그런 개념은 수학적으로 쓸모가 없다. 그래서 우리는 우선적으로 그 정의의 설명력을 확인한다. 확인이 된다면, '아 이 정의는 텅빈 정의가 아니구나', '우리가 기대하던 논리적 구조가 정확하게 도출되는구나'라는 결론에 도달하게 된다. 해당 정의의 설명력이 느껴지며 정당화가 시작되는 것이다. 우리가 직관적으로 확인했던 것들이 정의와 실제로 정확하게 연결된다는 걸 확인할 수 있다. 이것은 우리가 그 정의를 바라볼 때 큰 정신적 안정감을 가지는 포인트가 된다. 

그래서, 결론적으로 "과연 그럼 나는 이 정의를 그냥 받아들이고, 이 이후의 내용들에 대해서만 엄밀한 논리학적 지식을 펼치면 되는 것인가?"라는 물음에 대해 답하자면, 순수하게 해석학 공부를 하는 입장에서는 그냥 받아들이고, 가끔 기회가 된다면 해당 정의를 더 깊이 뜯어보면서 메타레벨을 오가며 왜 하필 그렇게 정의가 되었을지, 다른 정의는 불가능할지 고민해보기만 하자. 

6. 정의의 진짜 역할

이제는 비로소 ‘정의(Definition)’의 진짜 역할에 대해 알 수 있게 된다. 우리가 사는 세계에서 ‘정의’라는 것의 역할은 무엇일까?

자연과학에서의 ‘정의’, 예를 들면 온도, 힘, 에너지, 유전자 등은, 어떤 관찰 가능한 패턴을 잡아내기 위해 정의되고, 새 데이터가 쌓이면서 계속해서 수정·정교화된다. 즉 현상과 실험에 의해 세워지고 교정되는 것이다. 현상을 잘 설명해주고, 새로운 상황에서도 잘 동작하고, 예측을 가능하게 하고, 다른 여러 현상을 통합해주는 정의는 '좋은 정의'가 된다. 

수학·논리에서의 ‘정의’는, 느껴지는 수학적 직관이나 포착되는 수학적 문제 등이 ‘관찰되는 현상’이라 할 수 있다. 그러면 우리는, 그런 직관과 포착을 잘 설명해주는 형식을 만들고, 우리가 붙잡고 싶었던 직관적 구조에 가장 잘 맞는 형식적 틀로서 ‘정의’를 세운다.

실제로 그런 게 있는지 없는지는 모르지만, 인류는 이상적인 대상으로서 ‘진리’를 바라보고 ‘완전한 진리’를 지향한다. 이러한 관점에서 ‘정의’란, ‘그 이상에 더 잘 접근하기 위해 우리가 선택한, 임시적이지만 꽤 설득력 있는 좌표계·언어·프레임’ 같은 것인 셈이다. 더 잘 맞고, 더 깊게 설명하는 정의 혹은 이론으로 갈아타면서, 그 이상을 향해 조금씩 접근해간다고 볼 수 있다. 현실을 잘 설명하고, 관찰과 실험에 잘 맞고, 예측력과 설명력이 크다고 판단될 때, 그걸 밑바닥 전제로 삼자고 하여 채택되는 것이 ‘정의’인 것이다. 

정리하자면, 우리는 세상의 현상이나 패턴, 수학적 구조 등을 보고, 그걸 가장 잘 포착한다고 믿는 정의들을 골라 밑바닥에 깔고, 그 위에서 논리학이라는 엔진으로 이론을 전개하며, ‘완전한 진리’라는 목표에 점점 더 가까운 설명 체계를 만들어간다고 볼 수 있다. 극한의 엄밀한 정의, ε-δ 논법을 이런 틀 안에서 바라볼 수 있다.

7. 학생들이 엡실론-델타 논법에서 처음으로 멘붕을 겪는 이유

고등학교까지의 수학은 대부분, 정의를 적당한 수준에서 받아들인 후에 공식을 체화하고 그걸 바탕으로 사고력을 평가하는 식으로 진행된다. 정의가 이론 전체를 떠받치는 바닥언어라는 감각이나, 진리에 대한 근사, 혹은 공리-정의-정리의 체계와 같은 이야기는 거의 등장하지 않는다. 그 상태로 대학 1학년에 와서, 갑자기 엡실론-델타 논법을 들이밀면서 ‘이게 우리가 지금까지 써왔던 극한의 진짜 의미야’라고 하니, 학생 입장에서는 당황스럽고 말이 어렵게 느껴지게 되는 것이다. ‘세상을 설명하는 정의를 어떻게 선택하고, 그 정의를 어떻게 바닥에 깔고, 그 위에 어떤 논리체계를 쌓아올리는가’라는 철학적 메타적 이야기를 모르니, 학생들은 수학의 게임 규칙이 바뀌었다는 것을 모른 채 새로운 규칙 속으로 빨려 들어가는 것이다. 수학의 게임 규칙이 바뀌었다는 것을 아무도 알려주지 않는다. 

엡실론-델타 논법이 나오는 시점에서 수학은 ‘도구로서의 수학’에서 ‘이론으로서의 수학’으로 바뀐다. 문제를 푸는 기술의 언어에서, 개념을 만들고 개념 사이의 관계를 증명하는 작업으로 바뀐다. 공식을 믿고 쓰던 단계에서, 공식이 왜 성립하며 어디까지 성립하는지 꼼꼼히 따지는 단계로 바뀐다. 하지만 대부분의 수업과 절차에서는 이 전환을 거의 설명해주지 않는다. ‘이제부터는 정의-정리-증명의 언어로 수학을 할 겁니다’라는 선언도 없고, ‘왜 굳이 이런 엄밀함이 필요했는지’에 대한 철학·역사적 맥락도 잘 알려주지 않는다. 그러니 학생 입장에서는, ‘갑자기 쓸데없이 까다롭게 굴기 시작했다’, ‘수학이 갑자기 국어+논리학이 되었다’와 같은 체감만 남고, 그런 ‘처음 맞닥뜨린 질적 변화’가 벽처럼 느껴지게 된다.

또한 여기에 더하여, 순수하게 ‘논리 기술’적인 차원에서도 난이도 스파이크가 있다. 아주 로우 레벨에서 전칭과 특칭 같은 양화사가 번갈아 나오는 문장을 다룬 경험이 많지 않고, 임의의 ε가 주어졌다고 가정한 후 δ를 그에 따라 잡는 구성적 논증도 해본 적이 거의 없다. 부등식을 앞뒤로 조작해서 정리하고 기하학적으로 해석하는 과정이 필요하다는 것도 난이도를 높이는 요인이다. 그러니, 철학·메타 레벨의 배경도 없고, 논리·기호 조작기술도 익숙하지 않는, 그 두 개가 한 번에 겹쳐서, 머리를 한 대 세게 얻어맞는 느낌이 들게 되는 것이다.

8. 그럼에도 불구하고 엡실론-델타 논법만 더 특별하게 느껴지는 이유

이렇게 이 ‘극한의 엄밀한 정의’를 어떻게 바라보아야 하는지를 깊이 검토해보았음에도 불구하고, 아주 약간의 찝찝함이 남아있다. 왜 하필 이 정의만 다른 것들과는 다르게 느껴졌을까?

우리는 어렸을 때부터 수학 시간에 ‘직사각형의 정의’, ‘평행사변형의 정의’ 등을 통해 여러 가지 정의를 만나왔다. 중고등학교 때도 마찬가지이며, 심지어 대학교 1학년 때도 비슷한 시기에 선형대수학을 수강한다면 ‘벡터의 외적의 정의’와 같은 것들도 흔히 접한다. 하지만 그때는 이렇게까지 ‘정의라는 게 뭘까?’와 같은 이상한 의문은 가지지 않았던 것 같다. 물론 벡터의 외적과 관련해서는, ‘정의가 전부가 아니다’, ‘뒤에 딸려나오는 성질들까지가 모두 외적이라는 개념을 설계한다’와 같은 생각이 들긴 했으나, 그때도 이렇게까지 ‘정의’ 자체와 그 역할에 대해 깊이 고민하지는 않았던 것 같다. 왜 그럴까?

직사각형이나 평행사변형의 경우에는, 이미 눈으로 확인했던 도형들에 이름을 붙여주는 라벨링에 가깝게 정의가 받아들여진다. 이때 ‘정의가 진리냐?’와 같은 감각은 아예 작동할 필요가 없다. 외적도 비슷하다. 처음에는 그냥 계산규칙으로 접하고, 뒤에 그 벡터의 길이가 평행사변형의 넓이와 같으며 삼중적은 부피까지 표현한다는 등의 정리들을 들으면서 ‘아 이 연산을 이렇게 설계한 이유가 있구나’와 같은 정도의 느낌만 갖게 될 뿐, 여기서도 ‘정의가 도대체 뭐야?’라는 감각은 생기지 않는다. 단지 ‘이 정의는 처음부터 이런 의도로 설계된 것이구나’ 정도에서 사고가 멈춘다.

하지만 ε-δ 정의는 이런 관점에서 약간 성질이 다르다. 고등학교 때부터 써온 극한 개념이 이미 머릿속에 굳어있는 상황에서, ‘사실 극한의 진짜 의미는’이라며 익숙했던 개념 전체를 재정의해버린다. 그래서 듣는 입장에서는 ‘정의’라는 말 자체가 되게 무겁게 느껴지게 된다. 그럴 수밖에 없다. 더욱이 직사각형의 정의는 유한한 조건으로 구성된 데 반해, ε-δ 정의는 무한히 많은 상황에 대한 조건을 한 번에 묶어 놓은 구성으로 되어 있고, 보이는 대로 체크만 하면 끝나는 것과 달리 ε-δ 정의는 눈으로 확인 불가능한 증명대상이라는 성질은, 이 정의가 형태로서도 역할로서도 조금 급이 다른 정의처럼 느끼게 만드는 요소이다.

정의에도 종류가 있다. 굳이 조금 더 철학적으로 정의를 분류해보자면, 직사각형이나 평행사변형의 정의처럼 이미 알고 있는 대상들의 집합에서 어떤 성질을 가진 것들만 따로 떼어 순수하게 분류한 것에 가까운 ‘라벨링/분류형 정의’, 벡터의 외적처럼 어떤 구조를 만족하도록 설계해서 그걸 정의로 채택한 케이스인 ‘설계/특성화형 정의’, 그리고 ε-δ 논법처럼 이미 쓰던 언어·직관에서 모호함이나 직관 의존성을 제거하고, 논리적으로 다룰 수 있도록 완전히 펼쳐쓴(explicate) ‘해명적 정의’.

첫 번째 정의는 너무 일상언어에 가깝고 단순해서 그냥 라벨링으로 느껴지기에 그런 철학적 의문이 잘 안 들고, 두 번째 정의는 설계적인 느낌이 조금 있긴 하지만 그래도 직관과 공식을 섞어서 해석하다보면 ‘그냥 그런 연산인가보다’하고 넘어가게 된다. 하지만 ε-δ 정의는, 이미 알고 있던 개념 전체를 아주 복잡한 논리 형식으로 다시 쓰면서, ‘이게 네가 이전에 쓰던 극한이라는 말을 대체한다’고 선언하는 순간이라, “아, 정의는 진리가 아니라, 자연적 현상이나 수학적 구조를 잘 설명하는 이론적 밑바탕으로 채용된, 우리가 선택한 설명적 틀일 뿐이구나”라는 메타인식이 처음으로 크게 작동하는 지점이 되는 것이다.

그래서 ε-δ 정의가 다른 정의와는 다른, 매우 특별한 정의냐? 논리적 형식이나 역할 면에서 더 복잡하고 구조적인 측면이 있기는 하다. 무한 조건, 양화사, 증명 중심, 그리고 ‘함수의 극한·연속·미분·적분 전부를 여기에 얹어버린다’는 등의 요소가, 이 하나의 정의의 임팩트를 다른 정의보다 크게 느끼게 만든다. 하지만 본질적으로 ‘정의 vs 진리’라는 철학적 위치에서는 다르지 않다. 어떤 정의이든, 우리가 직관/현상/구조를 잘 잡아준다고 믿고 채택한 ‘논의의 출발점’일 뿐이고, 참거짓은 그 정의를 전제로 한 정리나 따름명제들에 붙는다. 

9. 결론

그냥, 이제서야 이 ε-δ 논법을 통해 그런 깨달음이 강하게 트리거된 것이었을 뿐일지도 모르겠다. ‘진리’, ‘정의’, ‘명제’, ‘진위’ 등의 개념은 수천 년 전부터 논의된 주제들이다. 실제로 언어 지문을 통해 이런 내용들을 많이 접하기도 했다. 특히 칸트나 비트겐슈타인과 같은 인물은 학창시절에 우리를 많이 괴롭힌다. 수학 공부를 하면서 느끼게 되는 여러 ‘찝찝함’은 사실, 단순 사용자에서 개념 설계자의 시야로 넘어가는 과정에서 느끼는 통증 같은 거라서, 아주 약간의 찝찝함이라도 그냥 넘어가지 않고 다시 한번 곱씹어보며 그러한 괴로움이 아무 의미 없는 괴로움이 아니었음을 깨달을 때, 어지럽게 떠돌던 모든 게 제자리를 찾고 한층 성장하게 되지 않을까.