DARKROOM

ResNet의 Identity Mapping에 대한 Ablation experiment와 결론

essdpt — Tue, 20 Jan 2026 18:58:43 +0900

ResNet은 Skip Connection을 포함하는 Residual Unit을 포함한 구조를 제안했고, 이건 우리에게 '어떤 Skip Connection이 가장 학습에 용이한가'라는 질문을 하게 만들었다. 여러 번의 ablation experiment를 통해 낸 결론은, identity mapping으로 연결해놓고, 마지막 f(y)도 identity mapping으로 설계되어있을 때, 가장 학습이 용이하다는 것이었다. 정확히는, "If both h(x) and f(y) are identity mappings, the signal could be directly propagated from one unit to any other units, in both forward and backward passes."이다. 따라서, ResNet에서 originally하게 제안된 Residual Unit은 conventional wisdom of post-activation이라는 원칙을 따라 addition한 후에 ReLU를 통과하는 방식이었는데, 이걸 우리는 순서를 약간 바꿔서 pre-activation before the weight layers 구조로 수행하여, addition된 이후에 바로 pass해버리는 방식을 제안한다.

더 정확히 말하자면, 이 논문에서 주장하는 identity mapping이 최적이라는 것의 의미는, "Identity Mapping이 아니면, 깊이가 깊어질수록 gradient 구조가 왜곡된다"는 것이다. 단순히 성능에 대한 비교가 아니라 gradient flow에 대한 계산적 구조적 분석에 기반한 주장이다. 핵심은, h(x)가 identity가 아니면 forward signal이 변형되고, f(y)가 identity가 아니면 backward gradient가 변형된다는 것이다. 이 둘 중 하나라도 identity가 아니면, direct propagation이 성립하지 않게 되고, 최적의 구조가 아니게 된다는 것이다.

다음으로, pre-activation idea에 대해 조금 더 정확히 말하자면, 이건 단순한 'ReLU의 위치변경' 그 이상의 의미를 가진다. addition 뒤에는 어떤 비선형 연산도 두지 않는 것으로, gradient가 ReLU에 막히지 않고 clean path를 확보할 수 있다는 점이 핵심이다.

ResNet 설계 아이디어

essdpt — Tue, 20 Jan 2026 17:25:08 +0900

이 글은 2015년 ResNet을 발표했던 'Deep Residual Learning for Image Recognition' 라는 논문의 기초적인 내용을 다루고 있습니다.

DeepCNN은 이미지 분류에 매우 중요한 돌파구가 되었고, 많은 연구가 진행되었어. 그 과정에서 깊이를 깊게 만들면 Gradient Vanishing/Exploding 문제가 발생할 수 있었고, 그건 Normalized Initialization이나 Batch Normalization 등의 기법으로 어느 정도 해결된 것으로 보여. 이제 약간 더 복잡한 challenging image set에 대해서도 높은 성능의 분류가 가능해진 것 같아. 그러다보니 이제 이런 문제가 떠올랐어. "Optimization이 네트워크 layer 하나 더 쌓는 것만큼 쉬운가?", "layer를 더 쌓는 건 문제가 없는데, 그만큼 optimization이 쉬워진 건가?", "이제 우리는, 최적화를 위해서 계층을 더 쌓기만 하면 되나?" 이게 아닐 수 있다는 실험결과가 나왔어. 20층짜리 네트워크와 56층짜리 네트워크의 error 비교인데, 모든 iteration에서 error가 56층 네트워크가 더 높아서, 이건 overfitting문제도 아니고, 그냥 '깊은 신경망에서의 최적화 실패 문제'라고 판단되는 상황이 나와버린 거야. 그래서 우리는, 모든 신경망이 유사하게 쉬운 난이도로 최적화되는 게 아니라고 결론짓게 되었고, 얕은 신경망과 깊은 신경망을 비교하게 되었어. 얕은 신경망에서, 항등함수 계층만 몇 번 추가해서 깊은 신경망이 되게 만든 거지. 항등함수는 입력값을 그대로 출력해주는 함수를 말하고 "identity(x) = x"라고 표현할 수 있겠지. 이 함수를 추가한 건 해 집합에 아무런 영향을 주지 않으니, 나머지 계층이 모두 얕은 계층과 동일하다는 가정 하에, 동일한 해집합을 가질 수 있고, 적어도 같은 해를 찾아가야만 하는 상황이 된 거야. 근데 여기서 깊은 신경망은 동일한 해를 찾아가지 못했고, 최적의 값으로 수렴하지 못했어. 그래서 여기서 나오는 결론은, '깊은 네트워크에서는 존재하는 해를 찾아가지 못하는 최적화 실패 문제가 발생할 수 있다'인 거지.

Residual Layer가 없던 이전까지의 CNN에서는, '원래 우리가 해당 블록에서 학습하길 바랬던 함수(= the desired underlying mapping)'를 H(x)라 불러. 즉, 기존의 일반적인 CNN에서는 '이 몇 개의 layer block은 입력 x를 받아서 어떤 함수 H(x)로 직접 변환시켜야 한다'고 전제하고 있었어. 다시 말해, [Convolution + ReLU + Convolution + ...]의 전체 stack이 하나의 큰 함수를 근사한다고 보는 거야. H(x)는 'desired underlying mapping', 즉 '우리가 원래 이 블록이 학습하길 바랬던 함수'인 거지. H(x)는 그런 점에서 기존 CNN에서도 이미 존재하던 대상이야.

근데 ResNet은, block(x)=:H(x)였던 기존 방식을, block(x)=:F(x)+x로 바꾼 거야. 블록이 H(x)를 최적화하던 문제에서, F(x)+x를 최적화하는 문제로 바꾼 거야. 이때, 이 문제에서 실제로 최적화를 통해 만들어야 하는 근사 결과물이 x라고 해보자. 즉, identity mapping 그 자체가 optimal mapping이었다고 가정해보자. 그러면, 사실 "아무것도 안 바꾸는 게 최선"인 상황인 거야. 기존 CNN에서는, 여러 층의 convolution+ReLU가 identity mapping을 근사해야 했고, 이건 오히려 '아무것도 안 하는 게 더 어려운 문제'인 상황이 돼. 여러 가중치가 있고, 여러 비선형 함수가 있는 상황에서는, 그런 게 더 어려운 거지. 근데 Residual 구조에서는? F(x)를 0으로 만들어주면 F(x)+x=x라서 쉬운 문제가 되는 거야. 해당 네트워크가 기본 입력값에서 얼마나 벗어나게 학습을 시키는지만 보면 되는 거지. 이게 '잔차문제'라는 거야. 잔차를 0으로 만드는 거니까. x가 이미 shortcut으로 제공된 시점에서, 기존 CNN보다 우월성이 있는 거지. 아, 그렇다고 물론 F(x)+x를 최적화하는 문제가 F(x)=0을 만드는 문제와 동일하다고 말하는 건 아니야. 어디까지나 극한적 상황에 대한 가정이니까. 단지, F(x)가, '기존의 입력을 얼마나 바꿔서 결과를 만드는지'를 표현하는 함수로 바라보게 되었다는 점이 핵심인 거지. 얼마나 변형시켜야 옳은 모델인지는 상황에 따라 다르긴 하고.

여기서 오해하면 안 되는 것? Degradation Problem은 전체 손실 자체를 위로 올리는 문제가 아니다. 단지, 깊이가 깊어지면 optimization 난이도가 올라간다는 것이다. flat region이 증가하고, poorly conditioned curvature가 생기고, gradient가 의미없는 방향으로 흐르기 쉬워지고, identity-like 해가 '얇고 찾기 어려운 manifold'로 존재하는 것이다. Identity mapping에서는, 함수공간에 포함관계가 생긴다. 20층과 56층을 다시 비교해보자. 20층이 모두 이전 모델과 동일하고, 나머지 36층은 모두 identity layer라면, 이론적으로 항상 20층 모델의 구성가능한 해를 56층이 무조건 포함하게 된다. 그래서, 이런 경우에 global optimum value 자체가 더 나빠질 이유는 없다. 이건 함수공간 자체가 더 나빠졌다는 뜻인데, 이는 identity mapping의 논리와 정면으로 충돌한다. 절대 아니다. 하지만 실제 실험에서는 training error와 test error가 둘 다 56층이 훨씬 높다. 이 말은, optimizer가 global optimum에 도달하지 못했다는 것으로밖에 해석할 수 없다. 손실함수 자체가 위로 올라간 것이 아닌, 손실함수의 지형이 더 험해진 것이다. Degradation Problem이란, 깊은 네트워크에서도 동일하거나 더 좋은 최솟값이 존재함에도 불구하고, SGD 기반 최적화가 그 지점에 도달하지 못하는 현상을 일컫는 말이다.

이러한 관점에서 ResNet 논문이 주장하는 바의 핵심은? "shortcut connection을 추가함으로써 loss function의 landscape를 easier to optimize한 상태로 변화시킬 수 있다"이다. shortcut connection을 추가함으로써 같은 objective function을 다른 parameterization에서(= 다른 좌표계에서) 최적화되게 바꾸는 것이다. 그 결과로, optimizer가 바라보는 loss landscape의 모양이 달라지게 된다. (= optimizer가 보는 loss surface가 달라진다.)

ZK-Proof 기초 커리큘럼

essdpt — Sat, 17 Jan 2026 22:27:08 +0900

ZK의 개념 및 P/NP/IPS와의 구분

ZK-proof: 내가 어떤 계산을 올바르게 수행했다는 사실을, 그 계산의 내용은 공개하지 않고 증명하는 기술

이를 위해 필요한 것:

계산을 수학적으로 표현
그 계산이 맞다는 것에 대한 설득
아무 정보도 새지 않게 하는 장치

P vs NP, IPS 등의 개념은 1번을 극단까지 밀어붙인 이론적 정당화 과정에서 나오는 개념.

ZK-Proof 기초 커리큘럼

0단계 - ZK가 왜 필요한가?

목표: ZK가 '증명기술'이라는 것에 대한 감각 잡기, '비밀을 숨긴다'가 정확히 무슨 의미인지 이해하기
핵심 개념:
- 증명 vs 계산
- 신뢰 vs 검증
- 말로 주장 vs 수학적으로 증명
필수 키워드:
- Prover / Verifier
- Statement vs Witness
- Soundness / Completeness / Zero-Knowledge (이 세 가지는 암기 수준으로)

1단계 - 가장 원초적인 ZK: Interactive Proof

목표: ZK의 뼈대를 이해하기, "검증자는 직접 계산하지 않지만, 속이기 어렵다"는 것을 이해하기
배우는 개념:
- Interactive Proof
- Challenge-Response
- Randomness의 역할
대표 예제:
- 동전 색깔 문제
- Graph Isomorphism ZK Proof
- Ali Baba cave

2단계 - ZK Proof의 정의를 정확히 이해

목표: ZK의 철학적 핵심 이해하기
핵심 성질 3가지:
- Completeness → 참이면 정직한 증명자가 항상 통과
- Soundness → 거짓이면 거의 확률적으로 속일 수 없음
- Zero-Knowledge → 증명 과정이 아무 정보도 안 줌

3단계 - NP, 하지만 가볍게

목표: 왜 NP가 나오는지 이해하기, 최소한의 NP 지식 갖추기
최소한의 지식:
- NP의 정의 (비결정성 말고 증명 검증 관점)
- witness의 의미
- "검증은 빠르다"의 정확한 뜻
이때 필요 없는 것:
- P vs NP 문제 ❌
- NP-완전성 증명 ❌

4단계 - Non-Interactive ZK (Fiat-Shamir)

목표: 현대 ZK의 출발점 이해하기, 블록체인에서 쓰겠다는 감각 느끼기
핵심 아이디어:
- 대화형 ZK → 한 번의 증명으로
- 랜덤 챌린지를 해시 함수로 대체
배우는 개념:
- Random Oracle Model
- Fiat–Shamir Transform
- Proof size / Verification time

5단계 - 계산을 증명하려면? (Circuit / R1CS)

목표: ZK의 실질적인 관문 넘어서기, 계산을 수학구조로 바꾸는 법 이해하기, "프로그램→회로→제약식→증명" 흐름 느끼기
배우는 순서:
1. Boolean circuit
2. Arithmetic circuit
3. R1CS (Rank-1 Constraint System)

6단계 - SNARK / STARK 맛보기

목표: 개념적 분류 이해하기
핵심 개념:
- SNARK vs STARK
- Trusted setup 유무
- Pairing 기반 vs Hash 기반

모델의 복잡도와 표현력: 가중치, 과대적합, 그리고 일반화

essdpt — Tue, 13 Jan 2026 03:47:33 +0900

'모델의 복잡도'는 "입력벡터 x의 작은 변화가 출력값 f(x)를 얼마나 변화시킬 수 있는지"를 의미하는 개념이다. 가중치가 커지면, 입력벡터가 약간만 달라지더라도 큰 가중치에 의하여 출력값이 크게 달라질 것이다. 그런 점에서, 가중치가 큰 모델은 모델의 복잡도가 크다고 표현할 수 있다.

모델의 복잡도는 과대적합 문제와 관련있다. 과대적합 문제는, 학습데이터에서는 loss가 매우 작고, 테스트데이터에 대해서는 loss가 작지 않거나 성능이 잘 안 나오는 문제를 말한다. 과대적합 문제는 보통 학습데이터에 존재하는 노이즈를 많이 반영하여 학습한 결과, 일반적인 데이터셋에 대한 성능이 나오지 않게 되어 발생한다. 모델이 구조상 큰 가중치도 가능한 구조이기 때문에, 학습 과정에서 학습데이터셋에 있는 노이즈까지 최대한 설명하도록 적응한 결과로, 가중치가 매우 커진 모델이 나올 수 있다. 과대적합을 허용하는 해가 선택된 결과로 모델의 복잡도가 큰 모델이 관측되는 것이다.

즉, 정리하자면 모델의 복잡도는 학습된 모델에 대하여 논하는 개념이다. 그리고 과대적합은 학습 과정에서 발생하는 문제인데, 학습 과정은 학습데이터셋에 의해 이루어지고, 학습에 의해, 여러 가지 이론적으로 가능했던 모델들 중 하나로 확정된다. 학습데이터셋에 노이즈가 많이 껴있으면 노이즈를 학습하기 위해 특정 가중치가 커지게 되고, 그 결과 학습된 모델은 가중치가 커진, 복잡도가 증가한 모델이 된다. 이것이 가중치와 모델의 복잡도, 그리고 과대적합의 관계이다. 모델의 복잡도가 크다고 하여 과대적합이 무조건 발생한 상황이라고 단정할 수는 없지만, 과대적합된 모델이라면 모델의 복잡도가 큰 경우가 대부분이라 정리할 수 있다.

'모델의 복잡도'는 '모델의 표현력'과 유사한 개념이다. 모델의 표현력은 두 가지 관점에서 정의할 수 있는데, 하나는 '이론적으로 가능한 모든 함수모델의 집합인 함수공간에서 얼마나 많은 함수모델을 구현할 수 있는가'이고, 다른 하나는 '서로 다른 입력이 서로 다른 출력으로 나올 수 있는가'이다. 첫째는 설계 상의 표현력으로서, 모델의 구조인 깊이나 폭 등이 어떻게 설계되어있는지에 의해 결정되는 표현력이다. 학습여부와 무관하게 설계 상으로 결정된다. 둘째는 실현된 표현력으로서, '학습의 결과로 상수함수가 나오면 안된다'는 관점에서의 표현력이다. 서로 다른 입력이 서로 다른 출력으로 이어지는 것이 매우 당연하고 상식적인 예측인데, 서로 다른 입력에도 불구하고 매우 비슷한 출력이 나온다면, 그건 모델의 실제적인 표현력이 부족하다고 평가하게 되는 것이다. 이건 가중치 값에 의해 결정되는 것이고, 학습결과에 의존하는 개념의 표현력이다.

두번째 표현력 개념은 '가중치 크기에 따른 시그모이드 함수의 출력'과 관련하여 생각해볼 수 있다. 가중치 크기가 작으면, 선형결합 결과인 z값이 작아지게 되고, 그러면 시그모이드 함수에 들어가는 입력값이 0에 가깝다고 생각할 수 있다. 이 경우, 시그모이드 함수의 개형에 따라, 0.5 근방에서만 출력값이 도출되는데, 어떤 입력값 z가 있더라도 가중치 W가 너무 작아서 시그모이드 입력값이 커질 수 없다면, 어떤 입력값에 대해서도 비슷한 활성화함수 출력값이 나오게 되고, 그러면 비슷한 최종예측값이 나오는 것이다. 이게 바로, 앞서 언급한 '상수함수'와 비슷한 예시라고 생각할 수 있다.

가중치 크기 조절은 모델의 일반화 성능 향상을 위해 매우 중요한 개념이다. 가중치 크기가 너무 크면, 시그모이드 함수를 활성화함수로 하는 모델에서 해당 활성화함수에 대한 입력값이 좌우로 크게 퍼지게 되고, 그러면 시그모이드 함수의 출력값이 0 또는 1 근방으로 고정된다. 시그모이드 함수의 기울기는 이때 대부분 0이어서, 이런 경우에 역전파 과정에서 합성함수 편미분 중간항에 0에 가까운 항이 곱해지고, 그러면 가중치의 편미분 값(gradient의 해당 축 성분)이 매우 작아져서, 업데이트 속도가 느려진다. 학습속도가 느려지는 것이고, 최적점을 찾아가는 속도가 느려지는 것이다. 이러한 현상은 시그모이드 기반 신경망에서 발생하는 Gradient Vanishing 문제의 대표적 원인 중 하나이다. 또한 가중치가 너무 크면, 데이터가 충분하지 않거나 정규화가 없는 상황에서는 모델의 복잡도 관점에서도 일반화 성능이 좋지 않은 방향으로 모델이 설계되어 있는 경우가 많아서, 이런 점에서도 좋지 않다. 그래서 학습결과 모델의 가중치가 너무 높지 않게 학습되는 것이 중요하다고 할 수 있겠다.

또한 가중치가 너무 작아도 문제가 될 수 있다. 앞서 설명했던 두번째 표현력 개념에서의 예시가 바로 그것이다. 가중치가 너무 작으면, 시그모이드 출력값이 0.5 근방으로 몰리게 되고, 상수함수와 유사하게 모델 자체의 실제적 표현력이 너무 줄어든다.

따라서 학습 결과로 얻어진 모델의 가중치 크기는 ① 모델의 복잡도, ② 일반화 성능, ③ 업데이트속도, ④ 모델의 실현된 표현력을 동시에 반영하는 중요한 지표이다. 가중치가 지나치게 크면 복잡도 증가 및 일반화 성능 하락, 그리고 업데이트속도 하락 문제가 발생할 수 있고, 지나치게 작으면 실현된 표현력 붕괴로 인해 서로 다른 입력을 구분하지 못하는 모델이 된다. 그러므로 학습 과정에서는 가중치가 너무 크지도, 너무 작지도 않도록 적절히 제어하는 것이 중요하다.

모델의 분산과 편향

essdpt — Mon, 12 Jan 2026 16:42:30 +0900

모델의 분산이란, 모델의 예측값을 확률변수로 보았을 때의 분산. 모델의 출력값을 확률변수로 본다. 정확히는 "고정된 입력 에 대해, 학습 데이터셋의 샘플링에 따라 달라지는 모델 예측값을 확률변수로 보았을 때의 분산".

어떤 학습데이터셋을 샘플링하여 모델 학습을 진행한다고 하면, 데이터셋을 다시 샘플링하면, 같은 알고리즘이라도 학습된 결과모델은 매번 조금씩 달라질 것.

이때, 특정 입력 input vector에 대한 예측값은, 데이터셋 D에 따라 달라지는 값, 즉 확률변수임.

"훈련데이터를 약간 바꾸면, 모델의 예측값이 얼마나 크게 달라지는가?" 이걸 정확하게 수치화한 개념이 모델의 분산.

따라서,

파라미터가 많거나 레이어가 많은 등 모델이 복잡하다 = 학습데이터셋에 포함된 노이즈에 대한 민감도가 커진다 → 분산이 크다 → 학습데이터셋이 바뀔 때마다 모델이 전혀 다른 결론을 낸다. = 추정치(예측값, 출력값)에 대한 변동 폭이 커진다 → 과대적합이 발생한다

이고, 주로 깊은 결정트리나, 과도한 차수의 다항회귀, 혹은 규제가 없는 신경망 등에서 발생한다.

다음으로 모델의 편향은,

'전체적으로 보았을 때, 여러 학습 데이터셋에 대하여 학습된 모델의 각 예측값들의 평균이, 실제 정답에서 얼마나 벗어나있는지를 나타내는 개념'이다. 즉, 모든 데이터셋들에 대한 예측값을 평균내어 전체적으로 바라보았을 때, 모델이 본질적으로 실제값과의 틀린 정도'를 의미한다. 편향이 높다는 것은, 모델이 평균적으로 틀린 방향에 있다는 뜻이다. 이 편향은, 선형 모델로 비선형 문제를 해결하려 할 때나, 차수가 낮은 모델로 복잡한 곡선을 근사하려 할 때 발생한다. 이로 미루어 보아, 편향은 모델 구조가 지나치게 단순하여, 진짜 데이터의 형태를 표현하기가 힘들 때, 그래서 전체적으로 발생하는 모델의 틀린 정도가 높아질 때 높아진다고 볼 수 있다.

정리하자면, 모델의 분산은 모델이 너무 복잡할 때 발생할 수 있는 문제로서, 학습데이터셋의 노이즈에 민감하게 반응하여 발생하는 문제이고, 여러 데이터셋 간에 성능 차이가 발생함을 뜻한다. 모델의 편향은, 모델이 너무 단순할 때 발생할 수 있는 문제로서, 여러 개의 학습 데이터셋에 대한 모델 예측값 평균을 고려하였을 때, 전체적으로 학습된 모델이 얼마나 결과값을 벗어나있는지를 측정하는 개념이다. 따라서, 모델의 분산과 편향은, 모델복잡도를 기준으로 반비례하는 경향이 있다.

고편향·저분산: 항상 비슷한 곳에 맞지만 중심에서 멂
저편향·고분산: 중심 근처이긴 한데 사방으로 흩어짐
저편향·저분산: 중심에 모여 있고, 항상 비슷한 형태

PyTorch CPU텐서와 GPU텐서의 구분

essdpt — Thu, 8 Jan 2026 12:37:05 +0900

컴퓨터의 내부장치를 분류해보면, 크게 다음의 두 파트로 구분된다는 걸 알 수 있다. CPU와 RAM 등으로 구성된 일반적인 장치, 그리고 GPU와 VRAM 등으로 구성된 '그래픽카드'라는 특수한 장치.

CPU와 GPU는 이름에서부터 알 수 있듯 둘 다 특정한 연산을 수행하는 프로세서인데, 이 둘은 서로 내부적인 구조가 달라서, 수행해야 할 연산에 따라 필요한 프로세서가 달라진다. GPU는 대규모 병렬 연산에 특화된 프로세서라고 이해할 수 있다.

RAM은 우리가 흔하게 알고 있듯, CPU와 내부적으로 시스템버스를 통해 연결되어 있는 저장장치이다. CPU와 거리가 가깝게 연결되어 존재한다.

'그래픽카드'는 GPU와 나머지 다른 몇 가지 요소들을 포함하는 전체 장치로서, GPU와 구분되는 용어이다. 이 그래픽카드에는 VRAM이라는 특수한 RAM이 존재하는데, 따라서 GPU라는 연산장치와 VRAM이라는 저장장치는 둘 다 같은 '그래픽카드' 내부에 위치하므로, 서로 데이터 전송속도가 빠르다. 하지만 VRAM에 있는 것을 CPU로 전송할 때나, 그래픽카드 외부에 존재하는 RAM에 있는 것을 GPU로 전송할 때는 시간이 더 걸리게 된다.

이것이 CPU와 RAM, 그리고 GPU와 VRAM의 관계이다.

PyTorch에서 사용되는 텐서는 선언할 때 서로 구분되듯, CPU텐서와 GPU텐서로 종류가 나뉜다. 그리고 CPU텐서는 컴퓨터의 일반 저장장치인 RAM에, GPU텐서는 그래픽카드의 저장장치인 VRAM에 저장된다. 그리고 이 텐서들의 연산은, 각 데이터가 존재하는 영역에서만 할 수 있다고 보면 된다. GPU에서의 연산은 VRAM에 있는 데이터로, CPU에서의 연산은 RAM에 있는 데이터로. 그래서 PyTorch는 두 종류의 텐서를 구분하는 것이다.

그러면 궁금한 게 생길 것이다. 왜 GPU텐서만 쓰지 않고 CPU텐서도 존재하는 거지?

이유는 간단하다. GPU가 없는 환경도 있으니까. 그런 환경에서도 CPU를 이용하여 코드를 돌려야 하니까 CPU텐서가 존재해야 한다. 또한 작은 연산은 GPU를 사용하는 게 오히려 손해일 수 있다. 처음에 코드상으로 텐서 데이터를 넣으면, 그건 CPU의 메모리인 RAM에 생성된다. 이걸 GPU에서 연산시키기 위해 GPU텐서로 생성했었다면, 필히 GPU가 존재하는 그래픽카드의 메모리인 VRAM으로 초기에 한번은 데이터를 복사하는 과정이 필요하다. 만약 텐서의 연산이 매우 가벼운 연산이라면, 이 데이터 복사과정이 실제 연산과정보다 더 무거울 수 있고, 배보다 배꼽이 더 큰 상황이 발생할 수 있다. 차라리 복사를 안 하고 CPU에서 연산시키는 게 나은 것이다.

또한 다른 이유도 존재한다. 희귀한 함수나 특이한 일부 연산은 GPU에 구현이 안 되어 있는 경우도 있다. 이럴 땐 어쩔 수 없이 CPU텐서로 수행해야 한다. 또한 GPU메모리는 작고 비싸서, 필요한 배치만 GPU로 옮겨서 연산하는 게 일반적이다.

이렇게 보면, 이제 다음의 내용도 이해가 될 것이다.

데이터는 NumPy 배열로 존재할 수도 있고, CPU텐서로, 혹은 GPU텐서로 존재할 수도 있다. 데이터가 존재하는 형식에 따라 연결이 되는 게 있고 안 되는 게 있다.

우선, NumPy와 CPU텐서는 같은 메모리를 공유하므로 직접 연결되어 있다. 따라서 CPU텐서에서는 NumPy 연산이 가능하다. 하지만 GPU텐서는 .numpy()와 같은 연산이 불가능하다. 반드시 해당 텐서를 CPU로 옮겨야 한다. NumPy는 CPU메모리만 다룰 줄 아는 것이다.

또한 같은 연산에 들어가는 텐서는 같은 device여야 한다. 즉 CPU텐서와 GPU텐서는 HW 차원에서 아예 다른 주소공간을 가지고 있어서, GPU 커널이 CPU메모리를, CPU가 GPU메모리를 그냥 단순하게 바로 가져와서 쓸 수가 없다. 근본적으로 물리적인 메모리가 따로 떨어져 있어서 그렇다.

다음으로, GPU텐서로 짠 코드인데 로컬에서 해당 GPU가 없으면 어떻게 되는지에 대해 알아보겠다. CUDA는 PyTorch에서 주로 사용하는 것으로, NVIDIA가 만든 GPU 프로그래밍 플랫폼이자 API이다. 그래서 NVIDIA GPU와 CUDA 드라이버가 설치되어 있어야 CUDA로 코딩된 GPU텐서를 사용할 수 있다. 만약 AMD GPU이거나 Apple 모델이라면 다른 환경을 구성해야 한다. CUDA가 없는데 CUDA를 쓰고 코드를 돌리면, 그냥 에러가 뜬다. 그래서 보통 실전에서는 코드에 조건문을 포함하여, 경우에 따라 GPU와 CPU를 바꿔서 선언한다.

정의는 진리인가: 엡실론-델타 논법이 남긴 찝찝함의 정체

essdpt — Wed, 26 Nov 2025 23:23:11 +0900

1. ε-δ 논법의 기원

'극한' 개념이 활용되는, 이 개념의 기원이 된 대표적인 문제로 접선문제와 속도문제가 있다. 접선문제는 접선의 기울기를 구하는 게 어려워서 할선의 기울기를 극한으로 보내는 문제이고, 속도문제는 순간속도를 계산하는 게 어려워서 평균속도를 극한으로 보내는 문제이다. 둘 다 값을 간접적으로 계산하려 '극한'이라는 개념을 등장시켰고, x값을 원하는 지점까지 점점 다가가게 함으로써 수렴하는 값을 도출하는 내용이었다.

역사적으로 접선문제와 속도문제는 '극한' 개념의 핵심 출발점 중 하나가 맞다. 18세기까지 뉴턴과 라이프니츠를 중심으로 '무한히 작은 변화량'이라는 직관을 이용하여 '극한'이라는 개념을 정의하고 미적분이라는 학문을 정립했다. 그당시까지는 현대에 논하는 '극한의 엄밀한 정의'와 같은 논리적 논의 없이, '무한히 작은 것' 혹은 '무한히 가면', '끝없이 가까이 가면' 등의 표현을 썼고, 놀랍게도 대다수의 매끄러운 함수들에 대해 그 직관적 개념이 잘 맞아떨어졌기에 문제가 없었다.

그런데 18세기 후반쯤 와서 '찝찝함'이 실제 문제로 터지기 시작한다. 잘못 다룬 무한급수에서 말도 안되는 결과가 나오기도 하고, 연속이 아닌 이상한 함수들이나 도함수가 존재하는지가 헷갈리는 함수들이 나타나기도 하고, 근본적으로는 '무한히 작은 것'이라는 표현이 정확히 무엇이냐는 철학적/논리적 불만도 터져나왔다. 그런 찝찝함을 해결하기 위해 조금 더 엄밀한 정의가 필요하게 되었고, 그리하여 19세기에 들어, Cauchy, Bolzano, Weierstrass 같은 사람들이, "우리가 쓰는 극한의 직관을 정확히 언어로 못 박자"라고 해서 나오게 된 것이 바로, ε-δ 논법이다. 그래서 이 정의는, 이런 관점에서 일종의 '해명의 도구'라 할 수 있다. '이미 직관적 개념으로 잘 쓰던 것을, 나중에 뒤쫓아가며 해설·번역·해명한 정의'인 것이다.

2. ε-δ 논법에 대한 의심

형식논리학에 익숙하여 더 깊은 사고에 진입한 사람이라면 약간의 찝찝함이 생기는 지점이 있다. 'p → q'라는 조건식은 p가 실제로 참인지 거짓인지와 무관하게 p가 참일 때 q가 참이기만 하면 이 조건식은 참이 된다. 기초미적분에는 여러 가지 함수의 극한을 철저하게 ε-δ 논법만을 가지고 증명하는 문제들을 마주하게 되는데, 이 문제들은 결국 '예제에 주어진 함수의 극한값이 왜 그렇게 계산되는지'를 엄밀하고 타당한 논리로 증명하는 것 같지만, 모두 전제가 참이라는 가정 하에 식 전개가 가능한 것들이다. 따라서, '그래서 결국 그 정의는 왜 만족되어야 하는지', '그 정의는 왜 타당한지'에 대해서는 해당 문제가 말해주는 바가 없는 것이다. 과연 이 정의는 그냥 받아들이고, 그 이후에 예제문제의 풀이과정과 같은 내용들에 대해서만 엄밀한 논리학적 지식을 활용하면 되는 것일까?

3. 논리학에서의 정의

'논리학' 관점에서 '정의'란 뭘까? 논리학에서는 참/거짓, 즉 진위를 판별할 수 있는 문장을 '명제'라 하고, 두 명제를 '이면'이라는 말로 연결해놓은 것을 조건문이라고 한다. 여기에서 '정의(definition)'는, 조금 다른 위치에 서 있다. 논리학에서 새로운 말을 도입할 때는 보통, "우리는 앞으로 A를 B의 약어로 쓰겠다'고 약속한다"라며 명제의 형식으로 새로운 말을 도입한다. 논리학에 등장하는 이러한 내용은, 명제가 아니라 '새로운 기호를 이러한 형식으로 쓰자'라는 뜻에서 일종의 규칙이자 약속에 가깝다. 증명대상이 아니다. 그냥 '앞으로 이렇게 쓰겠다'고 약속한 것이고, 이 약속이 세워진 이후에야 비로소, 우리가 참/거짓을 판별할 수 있는 명제들이 등장하게 된다. 형식논리학이 여러 종류의 학문을 전개하는 데 있어 어떤 지위를 가지는지 다시 한번 생각해볼 수도 있는 대목이다.

4. 정의의 참거짓을 따져야 하는가?

사실 해석학을 깊이 공부하는 입장에서는, 그냥 정의를 받아들여도 된다. 아니 그래야 한다. 해석학은 그 기저의 공리체계를 인정하고, 그 위에서 내용을 전개한다. 무언가를 약속한 이후부터 성립하는 전제와 결론 형태의 논리적 추론인 것이다. 예를 들어, '실수의 성질'과 '극한의 정의'를 전제로 깔고, 그 위에서 '극한이 유일하다'나 '합·곱의 극한법칙이 성립한다'와 같은 정리를 증명하는 형태. 실제로 해석학이 하고 있는 일이 그런 일이기 때문에, "정의는 그냥 받아들이고, 이후의 내용만 모두 형식논리로 전개해나간다"고 생각하는 게 맞다.

5. 정의 자체에 대한 더 깊은 고찰과 어떻게 받아들여야 하는지에 관한 답변

그럼에도 불구하고 정의 자체를 다시 생각해보고 싶은 마음은 뭘까? 메타레벨(meta-level)에서 생각해보자. 메타 레벨(meta-level)에서는, 이런 논의를 해볼 수 있다. '이 정의가 텅빈 개념은 아닐까?'

정의가 약속이라면, 만약 그 정의가 실제로 어떤 현상이나 구조도 설명할 수 없는 것이라면, 그 약속은 너무 허망해진다. 무시무시한 조건으로 정의를 해놨더니, 어떤 함수도 어떤 점도 그 조건에 만족하지 않는다면, 그런 개념은 수학적으로 쓸모가 없다. 그래서 우리는 우선적으로 그 정의의 설명력을 확인한다. 확인이 된다면, '아 이 정의는 텅빈 정의가 아니구나', '우리가 기대하던 논리적 구조가 정확하게 도출되는구나'라는 결론에 도달하게 된다. 해당 정의의 설명력이 느껴지며 정당화가 시작되는 것이다. 우리가 직관적으로 확인했던 것들이 정의와 실제로 정확하게 연결된다는 걸 확인할 수 있다. 이것은 우리가 그 정의를 바라볼 때 큰 정신적 안정감을 가지는 포인트가 된다.

그래서, 결론적으로 "과연 그럼 나는 이 정의를 그냥 받아들이고, 이 이후의 내용들에 대해서만 엄밀한 논리학적 지식을 펼치면 되는 것인가?"라는 물음에 대해 답하자면, 순수하게 해석학 공부를 하는 입장에서는 그냥 받아들이고, 가끔 기회가 된다면 해당 정의를 더 깊이 뜯어보면서 메타레벨을 오가며 왜 하필 그렇게 정의가 되었을지, 다른 정의는 불가능할지 고민해보기만 하자.

6. 정의의 진짜 역할

이제는 비로소 ‘정의(Definition)’의 진짜 역할에 대해 알 수 있게 된다. 우리가 사는 세계에서 ‘정의’라는 것의 역할은 무엇일까?

자연과학에서의 ‘정의’, 예를 들면 온도, 힘, 에너지, 유전자 등은, 어떤 관찰 가능한 패턴을 잡아내기 위해 정의되고, 새 데이터가 쌓이면서 계속해서 수정·정교화된다. 즉 현상과 실험에 의해 세워지고 교정되는 것이다. 현상을 잘 설명해주고, 새로운 상황에서도 잘 동작하고, 예측을 가능하게 하고, 다른 여러 현상을 통합해주는 정의는 '좋은 정의'가 된다.

수학·논리에서의 ‘정의’는, 느껴지는 수학적 직관이나 포착되는 수학적 문제 등이 ‘관찰되는 현상’이라 할 수 있다. 그러면 우리는, 그런 직관과 포착을 잘 설명해주는 형식을 만들고, 우리가 붙잡고 싶었던 직관적 구조에 가장 잘 맞는 형식적 틀로서 ‘정의’를 세운다.

실제로 그런 게 있는지 없는지는 모르지만, 인류는 이상적인 대상으로서 ‘진리’를 바라보고 ‘완전한 진리’를 지향한다. 이러한 관점에서 ‘정의’란, ‘그 이상에 더 잘 접근하기 위해 우리가 선택한, 임시적이지만 꽤 설득력 있는 좌표계·언어·프레임’ 같은 것인 셈이다. 더 잘 맞고, 더 깊게 설명하는 정의 혹은 이론으로 갈아타면서, 그 이상을 향해 조금씩 접근해간다고 볼 수 있다. 현실을 잘 설명하고, 관찰과 실험에 잘 맞고, 예측력과 설명력이 크다고 판단될 때, 그걸 밑바닥 전제로 삼자고 하여 채택되는 것이 ‘정의’인 것이다.

정리하자면, 우리는 세상의 현상이나 패턴, 수학적 구조 등을 보고, 그걸 가장 잘 포착한다고 믿는 정의들을 골라 밑바닥에 깔고, 그 위에서 논리학이라는 엔진으로 이론을 전개하며, ‘완전한 진리’라는 목표에 점점 더 가까운 설명 체계를 만들어간다고 볼 수 있다. 극한의 엄밀한 정의, ε-δ 논법을 이런 틀 안에서 바라볼 수 있다.

7. 학생들이 엡실론-델타 논법에서 처음으로 멘붕을 겪는 이유

고등학교까지의 수학은 대부분, 정의를 적당한 수준에서 받아들인 후에 공식을 체화하고 그걸 바탕으로 사고력을 평가하는 식으로 진행된다. 정의가 이론 전체를 떠받치는 바닥언어라는 감각이나, 진리에 대한 근사, 혹은 공리-정의-정리의 체계와 같은 이야기는 거의 등장하지 않는다. 그 상태로 대학 1학년에 와서, 갑자기 엡실론-델타 논법을 들이밀면서 ‘이게 우리가 지금까지 써왔던 극한의 진짜 의미야’라고 하니, 학생 입장에서는 당황스럽고 말이 어렵게 느껴지게 되는 것이다. ‘세상을 설명하는 정의를 어떻게 선택하고, 그 정의를 어떻게 바닥에 깔고, 그 위에 어떤 논리체계를 쌓아올리는가’라는 철학적 메타적 이야기를 모르니, 학생들은 수학의 게임 규칙이 바뀌었다는 것을 모른 채 새로운 규칙 속으로 빨려 들어가는 것이다. 수학의 게임 규칙이 바뀌었다는 것을 아무도 알려주지 않는다.

엡실론-델타 논법이 나오는 시점에서 수학은 ‘도구로서의 수학’에서 ‘이론으로서의 수학’으로 바뀐다. 문제를 푸는 기술의 언어에서, 개념을 만들고 개념 사이의 관계를 증명하는 작업으로 바뀐다. 공식을 믿고 쓰던 단계에서, 공식이 왜 성립하며 어디까지 성립하는지 꼼꼼히 따지는 단계로 바뀐다. 하지만 대부분의 수업과 절차에서는 이 전환을 거의 설명해주지 않는다. ‘이제부터는 정의-정리-증명의 언어로 수학을 할 겁니다’라는 선언도 없고, ‘왜 굳이 이런 엄밀함이 필요했는지’에 대한 철학·역사적 맥락도 잘 알려주지 않는다. 그러니 학생 입장에서는, ‘갑자기 쓸데없이 까다롭게 굴기 시작했다’, ‘수학이 갑자기 국어+논리학이 되었다’와 같은 체감만 남고, 그런 ‘처음 맞닥뜨린 질적 변화’가 벽처럼 느껴지게 된다.

또한 여기에 더하여, 순수하게 ‘논리 기술’적인 차원에서도 난이도 스파이크가 있다. 아주 로우 레벨에서 전칭과 특칭 같은 양화사가 번갈아 나오는 문장을 다룬 경험이 많지 않고, 임의의 ε가 주어졌다고 가정한 후 δ를 그에 따라 잡는 구성적 논증도 해본 적이 거의 없다. 부등식을 앞뒤로 조작해서 정리하고 기하학적으로 해석하는 과정이 필요하다는 것도 난이도를 높이는 요인이다. 그러니, 철학·메타 레벨의 배경도 없고, 논리·기호 조작기술도 익숙하지 않는, 그 두 개가 한 번에 겹쳐서, 머리를 한 대 세게 얻어맞는 느낌이 들게 되는 것이다.

8. 그럼에도 불구하고 엡실론-델타 논법만 더 특별하게 느껴지는 이유

이렇게 이 ‘극한의 엄밀한 정의’를 어떻게 바라보아야 하는지를 깊이 검토해보았음에도 불구하고, 아주 약간의 찝찝함이 남아있다. 왜 하필 이 정의만 다른 것들과는 다르게 느껴졌을까?

우리는 어렸을 때부터 수학 시간에 ‘직사각형의 정의’, ‘평행사변형의 정의’ 등을 통해 여러 가지 정의를 만나왔다. 중고등학교 때도 마찬가지이며, 심지어 대학교 1학년 때도 비슷한 시기에 선형대수학을 수강한다면 ‘벡터의 외적의 정의’와 같은 것들도 흔히 접한다. 하지만 그때는 이렇게까지 ‘정의라는 게 뭘까?’와 같은 이상한 의문은 가지지 않았던 것 같다. 물론 벡터의 외적과 관련해서는, ‘정의가 전부가 아니다’, ‘뒤에 딸려나오는 성질들까지가 모두 외적이라는 개념을 설계한다’와 같은 생각이 들긴 했으나, 그때도 이렇게까지 ‘정의’ 자체와 그 역할에 대해 깊이 고민하지는 않았던 것 같다. 왜 그럴까?

직사각형이나 평행사변형의 경우에는, 이미 눈으로 확인했던 도형들에 이름을 붙여주는 라벨링에 가깝게 정의가 받아들여진다. 이때 ‘정의가 진리냐?’와 같은 감각은 아예 작동할 필요가 없다. 외적도 비슷하다. 처음에는 그냥 계산규칙으로 접하고, 뒤에 그 벡터의 길이가 평행사변형의 넓이와 같으며 삼중적은 부피까지 표현한다는 등의 정리들을 들으면서 ‘아 이 연산을 이렇게 설계한 이유가 있구나’와 같은 정도의 느낌만 갖게 될 뿐, 여기서도 ‘정의가 도대체 뭐야?’라는 감각은 생기지 않는다. 단지 ‘이 정의는 처음부터 이런 의도로 설계된 것이구나’ 정도에서 사고가 멈춘다.

하지만 ε-δ 정의는 이런 관점에서 약간 성질이 다르다. 고등학교 때부터 써온 극한 개념이 이미 머릿속에 굳어있는 상황에서, ‘사실 극한의 진짜 의미는’이라며 익숙했던 개념 전체를 재정의해버린다. 그래서 듣는 입장에서는 ‘정의’라는 말 자체가 되게 무겁게 느껴지게 된다. 그럴 수밖에 없다. 더욱이 직사각형의 정의는 유한한 조건으로 구성된 데 반해, ε-δ 정의는 무한히 많은 상황에 대한 조건을 한 번에 묶어 놓은 구성으로 되어 있고, 보이는 대로 체크만 하면 끝나는 것과 달리 ε-δ 정의는 눈으로 확인 불가능한 증명대상이라는 성질은, 이 정의가 형태로서도 역할로서도 조금 급이 다른 정의처럼 느끼게 만드는 요소이다.

정의에도 종류가 있다. 굳이 조금 더 철학적으로 정의를 분류해보자면, 직사각형이나 평행사변형의 정의처럼 이미 알고 있는 대상들의 집합에서 어떤 성질을 가진 것들만 따로 떼어 순수하게 분류한 것에 가까운 ‘라벨링/분류형 정의’, 벡터의 외적처럼 어떤 구조를 만족하도록 설계해서 그걸 정의로 채택한 케이스인 ‘설계/특성화형 정의’, 그리고 ε-δ 논법처럼 이미 쓰던 언어·직관에서 모호함이나 직관 의존성을 제거하고, 논리적으로 다룰 수 있도록 완전히 펼쳐쓴(explicate) ‘해명적 정의’.

첫 번째 정의는 너무 일상언어에 가깝고 단순해서 그냥 라벨링으로 느껴지기에 그런 철학적 의문이 잘 안 들고, 두 번째 정의는 설계적인 느낌이 조금 있긴 하지만 그래도 직관과 공식을 섞어서 해석하다보면 ‘그냥 그런 연산인가보다’하고 넘어가게 된다. 하지만 ε-δ 정의는, 이미 알고 있던 개념 전체를 아주 복잡한 논리 형식으로 다시 쓰면서, ‘이게 네가 이전에 쓰던 극한이라는 말을 대체한다’고 선언하는 순간이라, “아, 정의는 진리가 아니라, 자연적 현상이나 수학적 구조를 잘 설명하는 이론적 밑바탕으로 채용된, 우리가 선택한 설명적 틀일 뿐이구나”라는 메타인식이 처음으로 크게 작동하는 지점이 되는 것이다.

그래서 ε-δ 정의가 다른 정의와는 다른, 매우 특별한 정의냐? 논리적 형식이나 역할 면에서 더 복잡하고 구조적인 측면이 있기는 하다. 무한 조건, 양화사, 증명 중심, 그리고 ‘함수의 극한·연속·미분·적분 전부를 여기에 얹어버린다’는 등의 요소가, 이 하나의 정의의 임팩트를 다른 정의보다 크게 느끼게 만든다. 하지만 본질적으로 ‘정의 vs 진리’라는 철학적 위치에서는 다르지 않다. 어떤 정의이든, 우리가 직관/현상/구조를 잘 잡아준다고 믿고 채택한 ‘논의의 출발점’일 뿐이고, 참거짓은 그 정의를 전제로 한 정리나 따름명제들에 붙는다.

9. 결론

그냥, 이제서야 이 ε-δ 논법을 통해 그런 깨달음이 강하게 트리거된 것이었을 뿐일지도 모르겠다. ‘진리’, ‘정의’, ‘명제’, ‘진위’ 등의 개념은 수천 년 전부터 논의된 주제들이다. 실제로 언어 지문을 통해 이런 내용들을 많이 접하기도 했다. 특히 칸트나 비트겐슈타인과 같은 인물은 학창시절에 우리를 많이 괴롭힌다. 수학 공부를 하면서 느끼게 되는 여러 ‘찝찝함’은 사실, 단순 사용자에서 개념 설계자의 시야로 넘어가는 과정에서 느끼는 통증 같은 거라서, 아주 약간의 찝찝함이라도 그냥 넘어가지 않고 다시 한번 곱씹어보며 그러한 괴로움이 아무 의미 없는 괴로움이 아니었음을 깨달을 때, 어지럽게 떠돌던 모든 게 제자리를 찾고 한층 성장하게 되지 않을까.

해석학의 대수적 기초와 한국 수학교육과정에 대한 재검토

essdpt — Mon, 24 Nov 2025 14:42:41 +0900

스튜어트의 미분적분학과 같은 기초미적분 책을 읽다보면, 대수적인 연산을 하도록 요구하는 구절을 심심찮게 볼 수 있다. 당연히 모든 연산이 대수적이지만, 노골적으로 'algebraically'라는 단어를 쓰며 이를 강조하는 구절이 몇몇 보인다. 흔히 '대수적으로'라는 말을 중고등학교 교육과정에서, 그리고 대학에서도 기초미적분학 수준에서 잘 쓰지 않고 있기에, 해석학 첫걸음을 내딛으려는 학생들에게 이 단어는 약간은 어색해보일 수 있다.

'대수학'은 집합과 그 집합에 대한 연산으로부터 정의되는 '대수적 공리'에 의해 정당화된 여러 법칙들을 배우는 학문이라 할 수 있다. 이에 의하면 '대수적으로 연산한다'는 말은, '대수적으로 잘 정의된 실수 영역 ℝ에서 연산한다'는 것을, 즉 'algebraically well-defined real number field 위에서 연산한다'는 것을 뜻하는 것으로 생각할 수 있다.

스튜어트의 미분적분학과 같은 해석학 기초(사실 '해석학 기초'라고 표현하기도 좀 그런, 중고등 기초수학단계 혹은 대학교양 수준의 과정)과정에 등장하는 'algebraically'라는 표현은, 꼭 '추상대수학적인 엄밀한 의미(군/환/체 이론)로서의 표현'이라기 보다는, '대수적 조작을 이용해서 식을 변형하라'는 식의 관습적인 표현에 가깝다. 즉, 인수분해, 통분, 유리화, 약분, 곱셈/나눗셈, 치환, 이항정리 등의 조작을 의미한다. 하지만 이 모든 것은 당연히 '실수체 R의 대수적 법칙(교환법칙, 결합법칙, 분배법칙)'에 기반해 있다. 이는 사실상 다음을 전제한다. 1) 실수체 ℝ 위에서 연산을 하고 있으며, 2) 이 필드는 덧셈·곱셈이 잘 정의되어 있고, 3) 0이 아닌 실수에 대한 역원(1/x)도 존재하며, 4) 따라서 유리화도 가능하고 약분도 가능한 구조일 것. 즉, 모든 계산이 '실수체의 대수적 공리'에 정당화되어 있다는 것을 의미한다. 교재는 초급 미적분 수준의 의미로 이 단어를 쓰고 있지만, 그 이면에는 더 깊은 의미가 있는 것이다.

그렇다면, 이제 '대수학'의 적용범위에 대해 논해야 한다.

관습적인 수준에서, 매우 기초적인 수준에서 해당 표현을 사용하고 있다고 하더라도, 그런 밑바탕에는 대수적인 개념에 대한 엄밀한 확정이 선행되어야 할 것이다. '이 함수의 극한을 계산하기 위해서는 유리화를 해야하고, 유리화가 실제로 가능하다'와 같은 표현을 하기 위해서는, 엄밀한 대수적 토대가 전제되어야 한다. 그렇다면, 대수학이 해석학의 기저에 깔려있는 게 아닐까?

본질적으로 그렇다. 다만 더 엄밀히 말하면, 대수학이 해석학을 직접적으로 밑에서 지탱하는 학문이라기 보다는, 해석학의 구조가 가능해지는 필수적 기반을 제공하는 하나의 축이 바로 대수학이라 할 수 있다.

해석학의 세계는 어디에서 시작되는가? 해석학, 특히 실해석학은 실수체(ℝ, +, ·, ≤)위에서 전개된다. 이건, ℝ이 덧셈연산을 갖는 군이며, 곱셈연산을 갖는 체이고, order가 있으며, 그 순서로부터 위상(topology)가 생기고, 그 위상이 극한·연속·미분·적분을 정의할 수 있게 한다는 것을 말한다. 즉, 해석학이 작동하기 위한 선행조건으로서, 1) 대수적 구조 2) 순서구조 3) 위상 구조 4) 집합론적 기반이 있어야 하는 것이다. 따라서 해석학을 하려면, 대수구조는 필수적인 기반이다.

초급 해석학(미적분학)에서는 이 사실을 거의 숨긴다. '인수분해하세요', '유리화하세요', '약분하세요' 등. 그냥 바로바로 말을 해버리지만, 사실 이 모든 조작은 실수체 ℝ의 대수적 공리들을 전제로 하여 정당화된 것이다. 그러니까, "유리화나 약분과 같은 계산이 가능하려면, 결국 ℝ이라는 대수적 구조가 엄밀하게 정의되어 있어야 하는 것 아닌가?" 맞다. 정확히 맞다. 초급 수준의 교재는 이를 숨기지만, 그 아래에는 대수학적 공리 체계가 전부 숨어 있다.

그렇다면 정확한 수학 구조는 뭘까?
가장 아래에는 집합론이 있다. 현대수학에서 가장 보편적으로 받아들여지는 기반적 공리계의 지위를 가지고 있는 ZFC 공리계를 중심으로 한 그 집합론. 실수의 구성, 함수의 정의, 그리고 수열·집합 등 모든 객체의 기반 등을 다룬다. 그 위에는 대수적 구조(군·환·체)가 있다. 실수체(ℝ)의 덧셈·곱셈의 공리와 유리화, 인수분해, 약분을 정당화하는 법칙들이 여기에 포함된다. 그 위에는 순서·위상 구조 (order + topology)가 존재한다. 극한, 연속, 열린집합, 거리 등은 여기서 생기고, ε-δ 논리 역시 위상 구조에 기반한다. 그리고 가장 위에, 해석학(Analysis)가 존재한다. 극한, 미분, 적분, 급수, 연속성, 미분방정식, 실변수/복소해석학 등이 여기에 속한다. 즉, 해석학은 대수학 위에서 작동한다. 더 정확하게는, 해석학은 집합, 대수학, 순서·위상, 완비성의 집합체이다.

그렇다면 여기에서 이제, '수'와 '연산' 자체에 대해 논의해야 할 타이밍이 왔다.
앞서 설명한 그런 구조가 해석학의 기반이라면, '수'와 '연산'이라는 것은 '집합론'에 의해서 규정된 개념인가? 즉, '수'와 '연산'은 자연적으로 발생한 개념을 발견한 것인가, 아니면 인간이 발명하고 그걸 정리한 게 '집합론'과 '대수학'인 것인가?

결론부터 말하면, '수'는 인간이 만들어낸 형식적 개념이고, 그 형식적 개념을 구성하는 가장 널리 받아들여지는 체계가 집합론(ZFC 공리계)일 뿐, 집합론이 유일한 정의방식은 아니다. 또한 '수'는 자연에서 발견된 측면도 있고, 인간이 발명한 형식체계 안에서 정의된 측면도 있다.

'수'는 집합론 없이 정의될 수 없는 것인가?
아니다. 집합론(ZFC)는 현대수학에서 '수'를 구성하는 여러 방법들 중 표준적인 방법일 뿐이다. 역사적으로, 다른 기초체계에서는 다른 방식으로도 정의해왔다. 페아노 공리, 범주론 기반 수 개념(Lawvere’s ETCS), 형식주의적 공리체계 (PA, ZF, ZFC 등), 구성주의적 수 개념 (Intuitionism), Type theory 기반 실수(NuPRL, Coq, HoTT) 등. 즉, '수'를 정당화하는 방식은 여러 가지가 가능하다. 단지, 집합론(ZFC)가 현대수학을 통합하는 가장 강력하고 편리한 기반이기 때문에 가장 널리 사용될 뿐이다.

그렇다면 '수'는 자연에 존재하는가, 아니면 인간이 발명했는가?
이 질문에는 두 가지 관점이 있다. '수'가 발견된 것이라는 플라톤주의와 인간이 발명한 것이라는 형식주의. 플라톤주의는 '수'가 인간과 무관하게 존재하며, 피타고라스의 정리는 인류가 생기기 전에도 참이었고, 2, 3, π, e 같은 객체는 물리적 세계 밖의 추상적 실재이며, 인간은 이를 발견(discover)한 것이라는 관점이다. 이 관점에서 수학자는 자연의 법칙을 발견하는 과학자와 동일한 역할을 한다. 플라톤주의는 '수'가 기호의 체계이며, 인간이 공리를 정하고 그 안에서 연산을 정의한 것이라는 관점이다. 이에 따르면 '수'는 어떤 기호에 의미를 부여한 인간의 발명품이며, '수'는 ZFC, PA, Type Theory 등 원하는 기초 위에서 구성 가능한 것이다. 이 관점에서 수학은 문자체계(rules of symbols)이고, 의미는 인간이 부여한 것이다.

가장 현대적인 관점은 절충주의이다. 대부분의 현대 수학자들의 인식은 둘의 혼합이다. 자연수, 실수, 기하 같은 개념은 인간의 관찰 속에서 자연스럽게 발견된 것이지만, 이런 개념들을 엄밀히 다루기 위해 인간은 공리, 집합론, 형식주의를 발명했다는 것이다. 즉, 수의 개념적 뿌리는 '발견'이지만, 그 형식적 구조와 공리 시스템은 '발명'이다.

'연산'은 어떠한가?
사과 2개에 3개를 더하면 5개가 된다. 이런 사실은 물리적 세계에서 자연스럽게 관찰된다. 즉, '덧셈'은 발견에 가깝다. '곱셈'도 발견에 가깝다. 3개의 상자가 있고, 각 상자 안에 4개씩 들어있으면 12개가 된다. 이 역시 자연적이고 경험적이다. 하지만 음수, 유리수, 실수, 복소수 등은, 자연적 경험을 확장하는 과정 속에서 인간이 발명했다고 볼 여지도 있다. 예를 들어, '-2'는 자연에 없다. 하지만 인간이 부채(debt)를 모델링하기 위해 확장한 개념이다. 또한 π, e는 자연에 없지만 실수체의 완비성을 위해 필요한 개념이고, i = √(-1)은 공학/물리학을 설명하기 위해 확장한 개념이다. 즉, 기본적 연산은 자연에서 발견되었고, 그 확장은 인간이 직접 만들어낸 구조라 할 수 있다.

그럼 집합은 왜 필요한가?
집합론은 수학 전체를 통합적으로 구성하기 위해 필요한 개념이다. 집합론은 수를 정의하고, 함수를 집합 위의 관계로 모델링하고, 극한과 연속을 집합의 위상으로 설명하고, 군·환·체 같은 대수 구조도 집합 위에 정의될 수 있게 한다. 즉 집합론은, 수를 정의하는 유일한 방법은 아니지만 수학 전체를 통합하기 위한 가장 강력한 방법인 것이다.

2015교육과정부터 지금의 2022교육과정까지, 집합은 중학교 수학 교육과정에서 빠져있다.
3차 교육과정(1973~1981)에서는 초등학교 1학년부터 집합 개념이 도입되었고, 합집합·교집합 등 집합 연산도 초등 과정에 포함되어 있었다. 중학교 및 고등학교에서는 집합을 모든 수학 개념 이해의 언어로 사용하며 군, 환, 체 같은 구조적 개념도 확대 도입하여 수학 원리를 통합적으로 설명하는 기반이 되었다. 하지만 7차 교육과정(1997~2007) 이후 집합 단원은 초등학교 과정에서 거의 사라지고, 집합 개념은 중학교와 고등학교에서 일부 용어로만 남거나, 고등 수학의 기초로 취급되었다. 특히 초등학교 5학년에 남아 있던 일부 집합 관련 내용은 더 이상 다루지 않게 되었으며, 중·고등 수학 과정에서 집합 단원은 '문자와 식', '명제' 등 다른 단원의 하위 주제로 변동되었다. 2015 개정 과정 이후 집합 단원은 명제와 함께 고등학교 수학의 첫 단원(수학 I 또는 수학 상)에 위치하면서, 수학적 논리와 집합의 연산을 기본 소양으로 다루고 있다. 그리고 최신 2022 개정 교육과정에서는 고1 2학기 과정인 공통수학2에서 집합과 명제를 다루고 있다.

'수학' 공부를 위해 이러한 변화가 적절한지에 대해 검토해보면, 결론적으로 말하자면 '학문적'으로는 부적절하고, '현실적'으로는 타당한 측면이 있다. 기본 교육과정에서 집합이 점점 사라진 이유는 다음과 같은 문제들이 있다.

1) 학생들의 추상적 사고 발달 수준의 문제
피아제의 발달이론에서, 추상적 형식적 조작능력(formal operation)은 13~15세부터 서서히 발달한다. 하지만 실제 연구결과는, 중학생의 절반 이상이 집합 개념을 수학적 언어로 다루는 것을 어려워한다는 것이었다. 교육부는 이 데이터를 바탕으로, '집합이 학생들에게 교육적 부담을 크게 만들고, 실효성과 학습가능성이 낮다'고 판단했다.
2) 집합으로 시작한 수학은 너무 '형식적'이 된다.
집합을 초반에 강조하면, 수란 무엇이고, 원소란 무엇이고, 집합의 기초논리는 무엇인지 등 형식 언어적 사고가 강조되는데, 이는 다음과 같은 비판을 받는다. '수학을 너무 형식주의적으로 시작하면, 수학에 대한 흥미는 떨어지고 실패경험이 늘어날 것이다'라는. 결국, '수학은 현실 문제 해결 능력을 기르는 과목'이라는 정치적 명분 아래 집합의 위상은 낮아지게 되었다.
3) 평가효율성 및 출제부담
집합은 표면적으로 간단해보이지만, 복잡한 언어적 정의와 논리적 추론이 동반되는 내용은 평가문항을 제작하기가 어렵다. 또한 학생 수준에 따라 편차가 크게 나타나고, 교사 측면에서도 수업 부담이 클 수 있다. 그래서 정책적 결론으로, '집합은 고등학교 이후에 필요하고, 중학교 수준에서 엄밀한 집합론은 효용이 낮다'는 결론에 도달하였다.

학문적 관점에서 볼 때는 부적절한 경향이 있다. 모든 수학 개념의 기초는 집합에 있으며, 집합을 모르면 수, 함수, 방정식, 벡터 등의 '본질적' 의미를 절대 이해할 수 없다. 집합이 없으면 대수학적 구조를 설명할 수 없다. 또한, 추상적 사고력은 늦게 가르치면 더 키우기 힘든 경향이 있다. 실제로 선행연구는, '추상적 개념을 조기에 경험한 학생이 고등 단계 수학(미적분·선대·해석 등)을 훨씬 잘한다'는 결과도 있다.

수학 혐오를 촉발하는 요인을 줄이고, '평균 학생'을 기준으로 공교육과정이 만들어진다는 것을 명확히 하는 등 여러 장점이 있지만, 학문적으로는 매우 아쉬운 점이 있는 것이다. 또한 군·환·체는 추상적 사고력을 요구하므로 대부분의 학생들이 아예 이해 불가할 가능성도 있으며, 실제로 군·환·체를 제대로 가르칠 수 있는 교사가 매우 적다는 교사 인프라 문제도 있을 수 있다. 학문적 완결성을 희생하고 교육적 현실성을 택한 것이다.

재생적 힐베르트 공간(RKHS)

essdpt — Sat, 8 Nov 2025 18:48:11 +0900

함수의 벡터화

함수공간
= 함수를 원소로 가지는 집합
= 두 고정된 집합 사이의 함수들의 집합
= 함수를 벡터로 봄

함수를 벡터로 보면, 함수도 벡터처럼 연산 가능
(1) 덧셈: (f + g)(x) = f(x) + g(x)
(2) 스칼라곱: (c·f)(x) = c·f(x)
(3) 내적: ⟨f, g⟩ = ∫ f(x)g(x) dx

함수공간의 예시:
(1) 다항식 공간 : {a₀ + a₁x + a₂x² + ... + aₙxⁿ}
(2) 르베그 공간 : 측도 공간에서 절댓값의 p제곱이 르베그 적분 가능한 함수공간.
(3) 바나흐 공간 : 완비성을 갖춘 노름 공간. 힐베르트 공간의 일반화된 형태.
(4) 힐베르트 공간 : 완비내적공간. 내적을 사용해 길이와 각도를 정의 가능.

함수 연산 예시

(1) 덧셈
f(x) = x², g(x) = 2x 라면
(f + g)(x) = x² + 2x

(2) 스칼라곱
f(x) = sin(x), c = 3 라면
(3·f)(x) = 3sin(x)

(3) 내적
* 내적은 다양하게 정의 가능
⟨f, g⟩ = ∫ f(x)g(x) dx (L² 내적)
⟨f, g⟩ = ∑ f(xᵢ)g(xᵢ) (이산적 내적)
⟨f, g⟩ = f(x₀)g(x₀) (점별 내적)

코시수열

코시수열
= 서로 가까워지는 수열
= 수렴하는 수열
= ∀ε > 0, ∃N such that m,n > N ⇒ |aₙ - aₘ| < ε
= 충분히 큰 m,n에 대해 aₙ과 aₘ이 아주 비슷한 수열

함수공간에서 코시수열
= 함수들의 수열 {fₙ}이 코시수열

함수들의 코시 수열 예시:
fₙ(x) = (1 + x/n)ⁿ
→ 이 수열은 eˣ로 수렴
→ limₙ→∞ fₙ(x) = eˣ
→ 충분히 큰 n, m에 대해 fₙ과 fₘ이 아주 비슷하다면 그 함수열이 코시 수열

평가함수 & 힐베르트 공간 & 재생적 힐베르트 공간

평가함수
= 어떤 함수 f를 입력으로 받아 그 함수에서의 f(x)값을 출력하는 함수
= Eₓ(f) = f(x)로 정의되는 함수

평가함수 Eₓ(f)가 연속
= f로 수렴하는 함수들의 수열 {fₙ}이 있을 때, 각 점 x에서의 평가값도 f(x)로 수렴
= "limₙ→∞ fₙ(x) = f(x)" ⇒ "limₙ→∞ Eₓ(fₙ) = limₙ→∞ fₙ(x) = f(x)"
= 함수열 {fₙ}이 f로 수렴할 때, 수열 {Eₓ(fₙ)}이 Eₓ(f)로 수렴

어떤 함수공간 H가 힐베르트 공간
= 그 함수공간 H가 완비성이 있음
= 그 함수공간 H가 코시수열이 수렴하는 공간

평가함수들이 연속인 힐베르트 공간
= 재생적 힐베르트 공간(RKHS)
= 재생커널이 존재하는 공간

재생커널

재생커널이 존재
= 커널함수가 존재하고, 그 커널함수가 재생적
= 커널함수 K: X⋅X → ℝ이 다음을 만족
(1) k(·, x) ∈ H for all x ∈ X
(2) f(x) = ⟨f, k(·, x)⟩ for all f ∈ H, x ∈ X

시간의 질서에 대한 저항

essdpt — Fri, 17 Oct 2025 03:17:47 +0900

1. 사회가 정해놓은 시간표

부모 세대는 언제나 비슷한 말을 반복한다.
“이제는 슬슬 결혼할 때가 되지 않았니?”, “너도 손자손녀 보여줄 나이가 됐잖아.”

그들의 말에는 악의가 없다. 오히려 사랑이 섞여 있다.
자식이 홀로 외롭지 않기를 바라는 마음, 함께 늙어갈 누군가를 곁에 두길 바라는 마음, 그리고 언젠가 떠날 자신들의 빈자리를 대신 메워줄 누군가를 보고 싶어 하는 마음.
하지만 그 따뜻한 소망은 종종 한 개인의 시간을 향한 무언의 명령처럼 다가온다.

어디선가 “너무 늦으면 건강한 아이를 낳기 어렵다”는 말이 들려오고,
“젊을 때 낳아야 똑똑하고 튼튼하다”는 말이 덧붙는다.
그리하여 이 사회가 그어놓은 인생의 타임라인은 너무나 자연스럽게 형성된다.
20대 후반에는 결혼하고, 30대 초반에는 아이를 낳으며, 그 이후로는 가정을 중심으로 살아야 한다는 암묵적인 질서.

이 질서 속에서 살아가는 건 어쩌면 평온할지도 모른다.
그러나 그 평온함은 때로 ‘개인의 리듬’을 지워버린다.
사회는 모든 사람에게 같은 속도로 늙고, 같은 시기에 정착하고, 같은 이유로 행복해야 한다고 요구한다.
그리고 그 요구는 점점 더 은밀하게, 그러나 더욱 강하게 사람의 내면을 조여온다.

2. 나의 속도, 나의 방향

세상의 발전은 점점 더 가속화되고 있다.
지식을 하나의 거대한 덩어리로 본다면, 그 덩어리는 지금 이 순간에도 팽창하고 있다.
기술과 사상, 언어와 학문이 하루가 다르게 확장되고, 그 속도를 따라잡으려면 사람은 끊임없이 배우고 도전해야 한다.

나는 그 속에서 살아왔다.
하고 싶은 일이 많았고, 배우고 싶은 것도 많았다.
어떤 때는 새벽까지 논문을 읽었고, 어떤 때는 전혀 다른 분야의 책을 펼치며 지적 충돌을 즐겼다.
세상은 나에게 너무 많은 ‘하고 싶은 일’을 허락했고, 나는 그 모든 가능성을 외면하지 못했다.

그러다 보니 자연스레 결혼이나 정착 같은 단어가 내 인생의 우선순위에서 밀려났다.
사람들은 말한다. “언제까지 그렇게 살 거야?”, “이제는 좀 자리를 잡아야지.”
하지만 내게 있어 ‘자리 잡는다는 것’은 때로 ‘멈춘다’는 말처럼 들린다.
나는 여전히 달리고 싶은데, 왜 사람들은 멈춰야만 안심하는 걸까.

keep young and passionate myself.
이 말이 나를 지탱해온 신념이었다.
열정은 나이에 의해 닳아 없어지는 것이 아니라, 사회의 기준에 순응할 때 사라진다고 믿는다.
나는 여전히 배우고, 여전히 만들어가며, 여전히 성장하고 싶다.
문제는, 그 믿음이 언제나 사회적 ‘정상성’의 언어와 충돌한다는 점이다.

3. 시간의 질서에 맞서 산다는 것

한국 사회는 지금, 거대한 구조적 피로에 시달리고 있다.
국가 부채는 늘고, 물가는 오르며, 청년 일자리는 줄었다.
출산율은 이미 세계 최저 수준으로 떨어졌고, 고령 인구는 계속 늘어나고 있다.
누군가는 “나라가 늙어간다”고 말하지만, 나는 “시대가 너무 빠르게 늙고 있다”고 느낀다.

사람들은 불안에 쫓겨 안정적인 길을 택한다.
‘안정적인 직장’, ‘안정적인 결혼’, ‘안정적인 미래’라는 말이 너무 자주 반복된다.
그러나 나는 때로 이 단어들이 ‘굴복’의 다른 이름처럼 느껴진다.
세상의 압박에, 시간의 질서에, 그리고 타인의 기대에 굴복하는 삶.
그것은 나에게 두려움의 다른 이름이다.

나는 아직 멈추고 싶지 않다.
내게 삶의 의미란 안정된 구조 속의 평화가 아니라, 불완전한 여정 속의 밀도다.
더 배우고 싶고, 더 실험하고 싶으며, 여전히 미지의 세계를 향해 나아가고 싶다.
그런 나를 세상이 받아들이지 않아도, 괜찮다.
다만 나는 이 말만은 남기고 싶다.

사람은 나이로 늙는 것이 아니라, 스스로의 시간을 포기할 때 늙는다.

나는 내 시간의 주인으로 살고 싶다.
그리고 그 시간의 질서에 저항하며, 끝까지 배우는 인간으로 남고 싶다.