← Day 5 Phase 0 · Week 1 · Day 6 Day 7 →

Day 6 — 최적화, 초기화, 손실 지형

🎯 오늘의 목표

• 분산 보존 논증으로 Xavier/He 초기화를 유도한다
• SGD/모멘텀/Adam을 직접 구현하고 갱신식을 안다
• 초기화×학습률의 상호작용을 실험으로 해부한다
• two-moons를 MLP로 학습하고 결정경계를 시각화한다
• 1D/2D 손실 단면으로 비볼록 지형을 관찰한다
• 학습 진단(grad norm, 활성값 분포)을 습관화한다

📖 개념 (수업)

1. 초기화 이론 — 분산 보존

랜덤 초기화의 스케일이 왜 중요한가? 신호가 층을 통과하며 분산이 폭발하거나 소실되면, 깊은 망은 처음부터 학습 불능이다. 선형층 $y = Wx$($W\in\mathbb{R}^{d_\text{out}\times d_\text{in}}$, 원소 i.i.d. 평균0 분산$\sigma_W^2$)에서, 입력이 분산 $\sigma_x^2$로 독립이라 가정하면 출력 원소의 분산은

forward에서 분산을 보존하려면 $\sigma_W^2 = 1/d_\text{in}$. backward에서 gradient 분산을 보존하려면 $\sigma_W^2 = 1/d_\text{out}$. 둘을 절충한 게 Xavier/Glorot: $\sigma_W^2 = 2/(d_\text{in}+d_\text{out})$. ReLU는 음수 절반을 죽여 분산을 반토막내므로 보정 계수 2를 곱한 He 초기화 $\sigma_W^2 = 2/d_\text{in}$를 쓴다. 이게 "왜 kaiming_normal_인가"의 답이다.

2. 경사하강과 그 친척들

비볼록 $\hat R(\theta)$를 1차 방법으로 내려간다. 세 갱신식을 정확히:

Adam의 $\hat v$로 나누는 항이 핵심: gradient가 큰 좌표는 스텝을 줄이고 작은 좌표는 키워, 조건수가 나쁜 지형에서도 잘 간다. 바이어스 보정 $\hat m, \hat v$는 초기 $m,v=0$ 편향을 상쇄한다. 트랜스포머 학습은 거의 항상 AdamW (weight decay를 gradient가 아닌 파라미터에 직접 — Loshchilov & Hutter 2019)다. Phase 1에서 그대로 쓴다.

3. 옵티마이저를 추상화 — PyTorch처럼

Neuron/Layer/MLP는 Day 1 구조 그대로(이제 ReLU/He 초기화 적용). 새로 만들 것은 옵티마이저 객체다. 파라미터 리스트를 받아 step()과 zero_grad()를 제공한다 — PyTorch optim의 미니 버전.

class SGD:
    def __init__(self, params, lr, momentum=0.0):
        self.params, self.lr, self.mu = params, lr, momentum
        self.v = [0.0 for _ in params]
    def step(self):
        # TODO: v ← mu*v + p.grad ;  p.data -= lr * v
        ...
    def zero_grad(self):
        for p in self.params: p.grad = 0.0

class Adam:
    # TODO: m, v 버퍼 + 바이어스 보정 + 좌표별 갱신 (위 표)
    ...

4. 손실 지형 — 비볼록의 실제 모습

학습을 "loss 숫자"가 아니라 지형 위의 궤적으로 본다. 고차원 $\theta$를 직접 못 보니 단면을 뜬다:

• 1D 단면: 학습 전후 파라미터 $\theta_0,\theta^\star$를 잇는 직선 $\theta(\alpha)=(1-\alpha)\theta_0+\alpha\theta^\star$ 위에서 loss를 플롯.
• 2D 단면: 두 랜덤 방향 $d_1,d_2$(필터별 정규화, Li et al. 2018)로 $\theta^\star + a d_1 + b d_2$의 loss 등고선.

여기서 안장점·평탄골·날카로운/평평한 최소값을 눈으로 본다. "평평한 최소값이 더 잘 일반화한다"는 가설(Hochreiter–Schmidhuber, Keskar et al.)도 이 시각화로 직관화된다. Phase 3에서 큰 모델의 일반화를 논할 때 다시 등장.

5. 진단 습관 — 학습이 안 될 때 보는 것

✍️ 직접 해보기 (강도 ↑)

✅ 스스로 확인

• He/Xavier를 분산 보존으로 유도하고 실험으로 확인했다
• SGD/Momentum/Adam 갱신식을 유도 없이 쓰고 구현했다
• two-moons 결정경계가 비선형으로 휘는 걸 시각화했다
• 손실 단면에서 비볼록 구조를 관찰했다
• grad norm·업데이트 비율 등 진단 계기판을 읽을 수 있다

📝 오늘의 기록

← Day 5 Day 6 끝 Day 7 — 통합 & 글쓰기 →