해석학의 대수적 기초와 한국 수학교육과정에 대한 재검토

스튜어트의 미분적분학과 같은 기초미적분 책을 읽다보면, 대수적인 연산을 하도록 요구하는 구절을 심심찮게 볼 수 있다. 당연히 모든 연산이 대수적이지만, 노골적으로 'algebraically'라는 단어를 쓰며 이를 강조하는 구절이 몇몇 보인다. 흔히 '대수적으로'라는 말을 중고등학교 교육과정에서, 그리고 대학에서도 기초미적분학 수준에서 잘 쓰지 않고 있기에, 해석학 첫걸음을 내딛으려는 학생들에게 이 단어는 약간은 어색해보일 수 있다. 

'대수학'은 집합과 그 집합에 대한 연산으로부터 정의되는 '대수적 공리'에 의해 정당화된 여러 법칙들을 배우는 학문이라 할 수 있다. 이에 의하면 '대수적으로 연산한다'는 말은, '대수적으로 잘 정의된 실수 영역 ℝ에서 연산한다'는 것을, 즉 'algebraically well-defined real number field 위에서 연산한다'는 것을 뜻하는 것으로 생각할 수 있다. 

스튜어트의 미분적분학과 같은 해석학 기초(사실 '해석학 기초'라고 표현하기도 좀 그런, 중고등 기초수학단계 혹은 대학교양 수준의 과정)과정에 등장하는 'algebraically'라는 표현은, 꼭 '추상대수학적인 엄밀한 의미(군/환/체 이론)로서의 표현'이라기 보다는, '대수적 조작을 이용해서 식을 변형하라'는 식의 관습적인 표현에 가깝다. 즉, 인수분해, 통분, 유리화, 약분, 곱셈/나눗셈, 치환, 이항정리 등의 조작을 의미한다. 하지만 이 모든 것은 당연히 '실수체 R의 대수적 법칙(교환법칙, 결합법칙, 분배법칙)'에 기반해 있다. 이는 사실상 다음을 전제한다. 1) 실수체 ℝ 위에서 연산을 하고 있으며, 2) 이 필드는 덧셈·곱셈이 잘 정의되어 있고, 3) 0이 아닌 실수에 대한 역원(1/x)도 존재하며, 4) 따라서 유리화도 가능하고 약분도 가능한 구조일 것. 즉, 모든 계산이 '실수체의 대수적 공리'에 정당화되어 있다는 것을 의미한다. 교재는 초급 미적분 수준의 의미로 이 단어를 쓰고 있지만, 그 이면에는 더 깊은 의미가 있는 것이다. 

그렇다면, 이제 '대수학'의 적용범위에 대해 논해야 한다. 

관습적인 수준에서, 매우 기초적인 수준에서 해당 표현을 사용하고 있다고 하더라도, 그런 밑바탕에는 대수적인 개념에 대한 엄밀한 확정이 선행되어야 할 것이다. '이 함수의 극한을 계산하기 위해서는 유리화를 해야하고, 유리화가 실제로 가능하다'와 같은 표현을 하기 위해서는, 엄밀한 대수적 토대가 전제되어야 한다. 그렇다면, 대수학이 해석학의 기저에 깔려있는 게 아닐까?

본질적으로 그렇다. 다만 더 엄밀히 말하면, 대수학이 해석학을 직접적으로 밑에서 지탱하는 학문이라기 보다는, 해석학의 구조가 가능해지는 필수적 기반을 제공하는 하나의 축이 바로 대수학이라 할 수 있다. 

해석학의 세계는 어디에서 시작되는가? 해석학, 특히 실해석학은 실수체(ℝ, +, ·, ≤)위에서 전개된다. 이건, ℝ이 덧셈연산을 갖는 군이며, 곱셈연산을 갖는 체이고, order가 있으며, 그 순서로부터 위상(topology)가 생기고, 그 위상이 극한·연속·미분·적분을 정의할 수 있게 한다는 것을 말한다. 즉, 해석학이 작동하기 위한 선행조건으로서, 1) 대수적 구조 2) 순서구조 3) 위상 구조 4) 집합론적 기반이 있어야 하는 것이다. 따라서 해석학을 하려면, 대수구조는 필수적인 기반이다. 

초급 해석학(미적분학)에서는 이 사실을 거의 숨긴다. '인수분해하세요', '유리화하세요', '약분하세요' 등. 그냥 바로바로 말을 해버리지만, 사실 이 모든 조작은 실수체 ℝ의 대수적 공리들을 전제로 하여 정당화된 것이다. 그러니까, "유리화나 약분과 같은 계산이 가능하려면, 결국 ℝ이라는 대수적 구조가 엄밀하게 정의되어 있어야 하는 것 아닌가?" 맞다. 정확히 맞다. 초급 수준의 교재는 이를 숨기지만, 그 아래에는 대수학적 공리 체계가 전부 숨어 있다. 

그렇다면 정확한 수학 구조는 뭘까?
가장 아래에는 집합론이 있다. 현대수학에서 가장 보편적으로 받아들여지는 기반적 공리계의 지위를 가지고 있는 ZFC 공리계를 중심으로 한 그 집합론. 실수의 구성, 함수의 정의, 그리고 수열·집합 등 모든 객체의 기반 등을 다룬다. 그 위에는 대수적 구조(군·환·체)가 있다. 실수체(ℝ)의 덧셈·곱셈의 공리와 유리화, 인수분해, 약분을 정당화하는 법칙들이 여기에 포함된다. 그 위에는 순서·위상 구조 (order + topology)가 존재한다. 극한, 연속, 열린집합, 거리 등은 여기서 생기고, ε-δ 논리 역시 위상 구조에 기반한다. 그리고 가장 위에, 해석학(Analysis)가 존재한다. 극한, 미분, 적분, 급수, 연속성, 미분방정식, 실변수/복소해석학 등이 여기에 속한다. 즉, 해석학은 대수학 위에서 작동한다. 더 정확하게는, 해석학은 집합, 대수학, 순서·위상, 완비성의 집합체이다. 

그렇다면 여기에서 이제, '수'와 '연산' 자체에 대해 논의해야 할 타이밍이 왔다. 
앞서 설명한 그런 구조가 해석학의 기반이라면, '수'와 '연산'이라는 것은 '집합론'에 의해서 규정된 개념인가? 즉, '수'와 '연산'은 자연적으로 발생한 개념을 발견한 것인가, 아니면 인간이 발명하고 그걸 정리한 게 '집합론'과 '대수학'인 것인가?

결론부터 말하면, '수'는 인간이 만들어낸 형식적 개념이고, 그 형식적 개념을 구성하는 가장 널리 받아들여지는 체계가 집합론(ZFC 공리계)일 뿐, 집합론이 유일한 정의방식은 아니다. 또한 '수'는 자연에서 발견된 측면도 있고, 인간이 발명한 형식체계 안에서 정의된 측면도 있다. 

'수'는 집합론 없이 정의될 수 없는 것인가?
아니다. 집합론(ZFC)는 현대수학에서 '수'를 구성하는 여러 방법들 중 표준적인 방법일 뿐이다. 역사적으로, 다른 기초체계에서는 다른 방식으로도 정의해왔다. 페아노 공리, 범주론 기반 수 개념(Lawvere’s ETCS), 형식주의적 공리체계 (PA, ZF, ZFC 등), 구성주의적 수 개념 (Intuitionism), Type theory 기반 실수(NuPRL, Coq, HoTT) 등. 즉, '수'를 정당화하는 방식은 여러 가지가 가능하다. 단지, 집합론(ZFC)가 현대수학을 통합하는 가장 강력하고 편리한 기반이기 때문에 가장 널리 사용될 뿐이다. 

그렇다면 '수'는 자연에 존재하는가, 아니면 인간이 발명했는가? 
이 질문에는 두 가지 관점이 있다. '수'가 발견된 것이라는 플라톤주의와 인간이 발명한 것이라는 형식주의. 플라톤주의는 '수'가 인간과 무관하게 존재하며, 피타고라스의 정리는 인류가 생기기 전에도 참이었고, 2, 3, π, e 같은 객체는 물리적 세계 밖의 추상적 실재이며, 인간은 이를 발견(discover)한 것이라는 관점이다. 이 관점에서 수학자는 자연의 법칙을 발견하는 과학자와 동일한 역할을 한다. 플라톤주의는 '수'가 기호의 체계이며, 인간이 공리를 정하고 그 안에서 연산을 정의한 것이라는 관점이다. 이에 따르면 '수'는 어떤 기호에 의미를 부여한 인간의 발명품이며, '수'는 ZFC, PA, Type Theory 등 원하는 기초 위에서 구성 가능한 것이다. 이 관점에서 수학은 문자체계(rules of symbols)이고, 의미는 인간이 부여한 것이다. 

가장 현대적인 관점은 절충주의이다. 대부분의 현대 수학자들의 인식은 둘의 혼합이다. 자연수, 실수, 기하 같은 개념은 인간의 관찰 속에서 자연스럽게 발견된 것이지만, 이런 개념들을 엄밀히 다루기 위해 인간은 공리, 집합론, 형식주의를 발명했다는 것이다. 즉, 수의 개념적 뿌리는 '발견'이지만, 그 형식적 구조와 공리 시스템은 '발명'이다. 

'연산'은 어떠한가? 
사과 2개에 3개를 더하면 5개가 된다. 이런 사실은 물리적 세계에서 자연스럽게 관찰된다. 즉, '덧셈'은 발견에 가깝다. '곱셈'도 발견에 가깝다. 3개의 상자가 있고, 각 상자 안에 4개씩 들어있으면 12개가 된다. 이 역시 자연적이고 경험적이다. 하지만 음수, 유리수, 실수, 복소수 등은, 자연적 경험을 확장하는 과정 속에서 인간이 발명했다고 볼 여지도 있다. 예를 들어, '-2'는 자연에 없다. 하지만 인간이 부채(debt)를 모델링하기 위해 확장한 개념이다. 또한 π, e는 자연에 없지만 실수체의 완비성을 위해 필요한 개념이고, i = √(-1)은 공학/물리학을 설명하기 위해 확장한 개념이다. 즉, 기본적 연산은 자연에서 발견되었고, 그 확장은 인간이 직접 만들어낸 구조라 할 수 있다. 

그럼 집합은 왜 필요한가?
집합론은 수학 전체를 통합적으로 구성하기 위해 필요한 개념이다. 집합론은 수를 정의하고, 함수를 집합 위의 관계로 모델링하고, 극한과 연속을 집합의 위상으로 설명하고, 군·환·체 같은 대수 구조도 집합 위에 정의될 수 있게 한다. 즉 집합론은, 수를 정의하는 유일한 방법은 아니지만 수학 전체를 통합하기 위한 가장 강력한 방법인 것이다. 

2015교육과정부터 지금의 2022교육과정까지, 집합은 중학교 수학 교육과정에서 빠져있다. 
3차 교육과정(1973~1981)에서는 초등학교 1학년부터 집합 개념이 도입되었고, 합집합·교집합 등 집합 연산도 초등 과정에 포함되어 있었다. 중학교 및 고등학교에서는 집합을 모든 수학 개념 이해의 언어로 사용하며 군, 환, 체 같은 구조적 개념도 확대 도입하여 수학 원리를 통합적으로 설명하는 기반이 되었다. 하지만 7차 교육과정(1997~2007) 이후 집합 단원은 초등학교 과정에서 거의 사라지고, 집합 개념은 중학교와 고등학교에서 일부 용어로만 남거나, 고등 수학의 기초로 취급되었다. 특히 초등학교 5학년에 남아 있던 일부 집합 관련 내용은 더 이상 다루지 않게 되었으며, 중·고등 수학 과정에서 집합 단원은 '문자와 식', '명제' 등 다른 단원의 하위 주제로 변동되었다. 2015 개정 과정 이후 집합 단원은 명제와 함께 고등학교 수학의 첫 단원(수학 I 또는 수학 상)에 위치하면서, 수학적 논리와 집합의 연산을 기본 소양으로 다루고 있다. 그리고 최신 2022 개정 교육과정에서는 고1 2학기 과정인 공통수학2에서 집합과 명제를 다루고 있다. 

'수학' 공부를 위해 이러한 변화가 적절한지에 대해 검토해보면, 결론적으로 말하자면 '학문적'으로는 부적절하고, '현실적'으로는 타당한 측면이 있다. 기본 교육과정에서 집합이 점점 사라진 이유는 다음과 같은 문제들이 있다. 

1) 학생들의 추상적 사고 발달 수준의 문제
피아제의 발달이론에서, 추상적 형식적 조작능력(formal operation)은 13~15세부터 서서히 발달한다. 하지만 실제 연구결과는, 중학생의 절반 이상이 집합 개념을 수학적 언어로 다루는 것을 어려워한다는 것이었다. 교육부는 이 데이터를 바탕으로, '집합이 학생들에게 교육적 부담을 크게 만들고, 실효성과 학습가능성이 낮다'고 판단했다. 
2) 집합으로 시작한 수학은 너무 '형식적'이 된다. 
집합을 초반에 강조하면, 수란 무엇이고, 원소란 무엇이고, 집합의 기초논리는 무엇인지 등 형식 언어적 사고가 강조되는데, 이는 다음과 같은 비판을 받는다. '수학을 너무 형식주의적으로 시작하면, 수학에 대한 흥미는 떨어지고 실패경험이 늘어날 것이다'라는. 결국, '수학은 현실 문제  해결 능력을 기르는 과목'이라는 정치적 명분 아래 집합의 위상은 낮아지게 되었다. 
3) 평가효율성 및 출제부담
집합은 표면적으로 간단해보이지만, 복잡한 언어적 정의와 논리적 추론이 동반되는 내용은 평가문항을 제작하기가 어렵다. 또한 학생 수준에 따라 편차가 크게 나타나고, 교사 측면에서도 수업 부담이 클 수 있다. 그래서 정책적 결론으로, '집합은 고등학교 이후에 필요하고, 중학교 수준에서 엄밀한 집합론은 효용이 낮다'는 결론에 도달하였다. 

학문적 관점에서 볼 때는 부적절한 경향이 있다. 모든 수학 개념의 기초는 집합에 있으며, 집합을 모르면 수, 함수, 방정식, 벡터 등의 '본질적' 의미를 절대 이해할 수 없다. 집합이 없으면 대수학적 구조를 설명할 수 없다. 또한, 추상적 사고력은 늦게 가르치면 더 키우기 힘든 경향이 있다. 실제로 선행연구는, '추상적 개념을 조기에 경험한 학생이 고등 단계 수학(미적분·선대·해석 등)을 훨씬 잘한다'는 결과도 있다. 

수학 혐오를 촉발하는 요인을 줄이고, '평균 학생'을 기준으로 공교육과정이 만들어진다는 것을 명확히 하는 등 여러 장점이 있지만, 학문적으로는 매우 아쉬운 점이 있는 것이다. 또한 군·환·체는 추상적 사고력을 요구하므로 대부분의 학생들이 아예 이해 불가할 가능성도 있으며, 실제로 군·환·체를 제대로 가르칠 수 있는 교사가 매우 적다는 교사 인프라 문제도 있을 수 있다. 학문적 완결성을 희생하고 교육적 현실성을 택한 것이다.