DARKROOM

ResNet은 Skip Connection을 포함하는 Residual Unit을 포함한 구조를 제안했고, 이건 우리에게 '어떤 Skip Connection이 가장 학습에 용이한가'라는 질문을 하게 만들었다. 여러 번의 ablation experiment를 통해 낸 결론은, identity mapping으로 연결해놓고, 마지막 f(y)도 identity mapping으로 설계되어있을 때, 가장 학습이 용이하다는 것이었다. 정확히는, "If both h(x) and f(y) are identity mappings, the signal could be directly propagated from one unit to any other units, in both forward and backward passes..

이 글은 2015년 ResNet을 발표했던 'Deep Residual Learning for Image Recognition' 라는 논문의 기초적인 내용을 다루고 있습니다. DeepCNN은 이미지 분류에 매우 중요한 돌파구가 되었고, 많은 연구가 진행되었어. 그 과정에서 깊이를 깊게 만들면 Gradient Vanishing/Exploding 문제가 발생할 수 있었고, 그건 Normalized Initialization이나 Batch Normalization 등의 기법으로 어느 정도 해결된 것으로 보여. 이제 약간 더 복잡한 challenging image set에 대해서도 높은 성능의 분류가 가능해진 것 같아. 그러다보니 이제 이런 문제가 떠올랐어. "Optimization이 네트워크 layer 하나 더..

ZK의 개념 및 P/NP/IPS와의 구분ZK-proof: 내가 어떤 계산을 올바르게 수행했다는 사실을, 그 계산의 내용은 공개하지 않고 증명하는 기술이를 위해 필요한 것: 계산을 수학적으로 표현 그 계산이 맞다는 것에 대한 설득 아무 정보도 새지 않게 하는 장치P vs NP, IPS 등의 개념은 1번을 극단까지 밀어붙인 이론적 정당화 과정에서 나오는 개념. ZK-Proof 기초 커리큘럼0단계 - ZK가 왜 필요한가?목표: ZK가 '증명기술'이라는 것에 대한 감각 잡기, '비밀을 숨긴다'가 정확히 무슨 의미인지 이해하기 핵심 개념: 증명 vs 계산 신뢰 vs 검증 말로 주장 vs 수학적으로 증명 필수 키워드:Prover / VerifierStatement vs WitnessSoundness / C..

'모델의 복잡도'는 "입력벡터 x의 작은 변화가 출력값 f(x)를 얼마나 변화시킬 수 있는지"를 의미하는 개념이다. 가중치가 커지면, 입력벡터가 약간만 달라지더라도 큰 가중치에 의하여 출력값이 크게 달라질 것이다. 그런 점에서, 가중치가 큰 모델은 모델의 복잡도가 크다고 표현할 수 있다. 모델의 복잡도는 과대적합 문제와 관련있다. 과대적합 문제는, 학습데이터에서는 loss가 매우 작고, 테스트데이터에 대해서는 loss가 작지 않거나 성능이 잘 안 나오는 문제를 말한다. 과대적합 문제는 보통 학습데이터에 존재하는 노이즈를 많이 반영하여 학습한 결과, 일반적인 데이터셋에 대한 성능이 나오지 않게 되어 발생한다. 모델이 구조상 큰 가중치도 가능한 구조이기 때문에, 학습 과정에서 학습데이터셋에 있는 노이즈까지..

모델의 분산이란, 모델의 예측값을 확률변수로 보았을 때의 분산. 모델의 출력값을 확률변수로 본다. 정확히는 "고정된 입력 𝑥에 대해, 학습 데이터셋의 샘플링에 따라 달라지는 모델 예측값을 확률변수로 보았을 때의 분산". 어떤 학습데이터셋을 샘플링하여 모델 학습을 진행한다고 하면, 데이터셋을 다시 샘플링하면, 같은 알고리즘이라도 학습된 결과모델은 매번 조금씩 달라질 것. 이때, 특정 입력 input vector에 대한 예측값은, 데이터셋 D에 따라 달라지는 값, 즉 확률변수임. "훈련데이터를 약간 바꾸면, 모델의 예측값이 얼마나 크게 달라지는가?" 이걸 정확하게 수치화한 개념이 모델의 분산. 따라서, 파라미터가 많거나 레이어가 많은 등 모델이 복잡하다 = 학습데이터셋에 포함된 노이즈에 대한 민감도..

컴퓨터의 내부장치를 분류해보면, 크게 다음의 두 파트로 구분된다는 걸 알 수 있다. CPU와 RAM 등으로 구성된 일반적인 장치, 그리고 GPU와 VRAM 등으로 구성된 '그래픽카드'라는 특수한 장치. CPU와 GPU는 이름에서부터 알 수 있듯 둘 다 특정한 연산을 수행하는 프로세서인데, 이 둘은 서로 내부적인 구조가 달라서, 수행해야 할 연산에 따라 필요한 프로세서가 달라진다. GPU는 대규모 병렬 연산에 특화된 프로세서라고 이해할 수 있다. RAM은 우리가 흔하게 알고 있듯, CPU와 내부적으로 시스템버스를 통해 연결되어 있는 저장장치이다. CPU와 거리가 가깝게 연결되어 존재한다. '그래픽카드'는 GPU와 나머지 다른 몇 가지 요소들을 포함하는 전체 장치로서, GPU와 구분되는 용어이다. 이 ..

1. ε-δ 논법의 기원 '극한' 개념이 활용되는, 이 개념의 기원이 된 대표적인 문제로 접선문제와 속도문제가 있다. 접선문제는 접선의 기울기를 구하는 게 어려워서 할선의 기울기를 극한으로 보내는 문제이고, 속도문제는 순간속도를 계산하는 게 어려워서 평균속도를 극한으로 보내는 문제이다. 둘 다 값을 간접적으로 계산하려 '극한'이라는 개념을 등장시켰고, x값을 원하는 지점까지 점점 다가가게 함으로써 수렴하는 값을 도출하는 내용이었다. 역사적으로 접선문제와 속도문제는 '극한' 개념의 핵심 출발점 중 하나가 맞다. 18세기까지 뉴턴과 라이프니츠를 중심으로 '무한히 작은 변화량'이라는 직관을 이용하여 '극한'이라는 개념을 정의하고 미적분이라는 학문을 정립했다. 그당시까지는 현대에 논하는 '극한의 엄밀한 정의'..

스튜어트의 미분적분학과 같은 기초미적분 책을 읽다보면, 대수적인 연산을 하도록 요구하는 구절을 심심찮게 볼 수 있다. 당연히 모든 연산이 대수적이지만, 노골적으로 'algebraically'라는 단어를 쓰며 이를 강조하는 구절이 몇몇 보인다. 흔히 '대수적으로'라는 말을 중고등학교 교육과정에서, 그리고 대학에서도 기초미적분학 수준에서 잘 쓰지 않고 있기에, 해석학 첫걸음을 내딛으려는 학생들에게 이 단어는 약간은 어색해보일 수 있다. '대수학'은 집합과 그 집합에 대한 연산으로부터 정의되는 '대수적 공리'에 의해 정당화된 여러 법칙들을 배우는 학문이라 할 수 있다. 이에 의하면 '대수적으로 연산한다'는 말은, '대수적으로 잘 정의된 실수 영역 ℝ에서 연산한다'는 것을, 즉 'algebraically we..

함수의 벡터화함수공간= 함수를 원소로 가지는 집합= 두 고정된 집합 사이의 함수들의 집합= 함수를 벡터로 봄함수를 벡터로 보면, 함수도 벡터처럼 연산 가능(1) 덧셈: (f + g)(x) = f(x) + g(x)(2) 스칼라곱: (c·f)(x) = c·f(x)(3) 내적: ⟨f, g⟩ = ∫ f(x)g(x) dx함수공간의 예시:(1) 다항식 공간 : {a₀ + a₁x + a₂x² + ... + aₙxⁿ}(2) 르베그 공간 : 측도 공간에서 절댓값의 p제곱이 르베그 적분 가능한 함수공간.(3) 바나흐 공간 : 완비성을 갖춘 노름 공간. 힐베르트 공간의 일반화된 형태.(4) 힐베르트 공간 : 완비내적공간. 내적을 사용해 길이와 각도를 정의 가능. 함수 연산 예시(1) 덧셈f(x) = x², g(x) = 2x..

1. 사회가 정해놓은 시간표부모 세대는 언제나 비슷한 말을 반복한다.“이제는 슬슬 결혼할 때가 되지 않았니?”, “너도 손자손녀 보여줄 나이가 됐잖아.”그들의 말에는 악의가 없다. 오히려 사랑이 섞여 있다.자식이 홀로 외롭지 않기를 바라는 마음, 함께 늙어갈 누군가를 곁에 두길 바라는 마음, 그리고 언젠가 떠날 자신들의 빈자리를 대신 메워줄 누군가를 보고 싶어 하는 마음.하지만 그 따뜻한 소망은 종종 한 개인의 시간을 향한 무언의 명령처럼 다가온다.어디선가 “너무 늦으면 건강한 아이를 낳기 어렵다”는 말이 들려오고,“젊을 때 낳아야 똑똑하고 튼튼하다”는 말이 덧붙는다.그리하여 이 사회가 그어놓은 인생의 타임라인은 너무나 자연스럽게 형성된다.20대 후반에는 결혼하고, 30대 초반에는 아이를 낳으며, 그 이..