Transformer Lab from scratch → 재현 → 기여

바로 트랜스포머로 가기 전에, 모든 게 돌아가는 두 가지 토대를 확실히 한다: autograd(자동 미분)가 어떻게 동작하는지와 PyTorch 텐서 조작. 여기가 흔들리면 뒤에서 디버깅이 지옥이 된다.

할 일

• Colab 환경 세팅 — GPU 런타임, Google Drive 마운트(체크포인트 저장), wandb 계정
• Karpathy micrograd를 보지 않고 직접 재구현 — scalar 단위 역전파를 손으로
• PyTorch autograd 실습: requires_grad, .backward(), .grad, torch.no_grad()
• 텐서 조작 숙달: view/reshape/transpose/permute, broadcasting, einsum
• 왜 (B, T, C) 레이아웃을 쓰는지, contiguous 메모리가 뭔지 이해

이 단계가 프로젝트 전체에서 가장 중요하다. nn.Transformer나 nn.MultiheadAttention 같은 고수준 API를 쓰지 않고, self-attention부터 직접 구현해 char-level 언어모델을 학습시킨다. 데이터는 tinyshakespeare(1MB)라 Colab 무료 GPU로 수 분이면 돈다.

구현 항목 (직접)

• CausalSelfAttention — Q/K/V 투영, scaled dot-product, causal mask, multi-head
• MLP — position-wise feed-forward (n_embd → 4·n_embd → n_embd)
• Block — Pre-LN 구조 (residual 연결 포함)
• GPT — token/position 임베딩, Block 스택, weight tying, generate()
• 학습 루프 — get_batch, cross-entropy, AdamW, warmup+cosine LR, grad clip
• mixed precision (bfloat16) — 속도 2배
• wandb로 loss 곡선 로깅

이해해야 할 개념 (글로 정리)

• 왜 1/√d_k 스케일링인가 — softmax saturation
• causal mask가 autoregressive 학습을 어떻게 가능하게 하는가
• residual + Pre-LN이 깊은 망 학습을 안정시키는 원리 (ResNet과 연결)
• attention = 토큰 간 정보 교환, MLP = 토큰 내부 가공이라는 직관
• weight tying이 왜 파라미터를 줄이고 성능을 올리는가

char-level 장난감에서 실제 LLM의 축소판으로 올라간다. BPE 토크나이저, 실제 텍스트 코퍼스, 더 긴 학습. nanoGPT 수준의 코드를 자기 것으로 만들고, 학습 동역학을 체계적으로 관찰한다.

할 일

• BPE 토크나이저 도입 (tiktoken) — char vs BPE 차이 체감
• 데이터: TinyStories(쉬움, 추천 시작점) 또는 OpenWebText subset
• 데이터 파이프라인 — 토큰화 후 .bin으로 메모리맵, 효율적 배치 로딩
• gradient accumulation — 작은 GPU로 큰 effective batch 흉내
• 체크포인트 저장/재개 (Colab 끊김 대비 — Drive에 주기적 저장)
• 학습 모니터링 — train/val loss, gradient norm, LR, MFU(연산 효율)
• (선택) 작은 모델로 HellaSwag 같은 벤치마크 평가 맛보기

분석할 것

• 토크나이저가 vocab 크기·시퀀스 길이·성능에 주는 영향
• 학습률·warmup·batch size가 수렴에 주는 영향 (작은 실험들)
• overfitting 관찰 — train↓ val↑ 갈라지는 지점, dropout/weight decay 효과

여기서부터 랩 지원에 진짜 차별화가 생긴다. "모델을 크게 만들수록 무엇이 어떻게 좋아지는가"를 직접 측정하고, 구조 개선의 효과를 통제된 실험(ablation)으로 검증한다. 대부분의 학부생이 여기까지 안 온다.

스케일링 법칙 재현

• 모델 크기를 4~5단계로 (예: 1M, 4M, 16M, 64M) 같은 데이터로 학습
• 파라미터 수 ↔ 최종 loss 관계를 log-log 플롯 — 멱법칙(power law) 확인
• compute(연산량) ↔ loss 관계 — Chinchilla "compute-optimal" 직관 재현
• "같은 연산이면 큰 모델을 덜 학습 vs 작은 모델을 더 학습?" 직접 비교

구조·효율 개선 ablation

• 위치 인코딩: 학습형 vs RoPE vs ALiBi — 외삽(extrapolation) 성능 비교
• 정규화: LayerNorm vs RMSNorm, Pre-LN vs Post-LN
• 활성화: GELU vs SwiGLU
• attention 효율: F.scaled_dot_product_attention(Flash Attention) 적용 전후 속도
• gradient checkpointing — 메모리 ↔ 속도 트레이드오프 측정
• KV cache로 추론 가속 구현

사전학습된 모델(여기서는 공개 모델 활용 OK)을 유용하게 길들이는 단계. LLM/NLP 랩의 현재 핵심 주제(instruction tuning, 정렬)를 직접 다룬다. Phase 1~3에서 from scratch를 충분히 했으니, 여기선 공개 모델을 베이스로 써도 떳떳하다.

할 일

• 작은 공개 모델(예: Pythia-160M/410M, TinyLlama) instruction tuning
• LoRA / QLoRA 직접 구현 또는 PEFT로 적용 — 적은 메모리로 파인튜닝
• SFT 데이터셋 다루기 (예: Alpaca, Dolly) — 포맷팅, 마스킹
• DPO(Direct Preference Optimization)로 선호 정렬 — RLHF보다 구현 단순
• (심화) 보상 모델 + PPO로 RLHF 풀 파이프라인 맛보기
• 평가 — 정렬 전후 응답 품질 비교 (정성 + 간단한 벤치마크)

지금까지 쌓은 인프라(직접 만든 모델·학습·평가 코드)를 무기로 작지만 진짜 질문에 답한다. 거창한 SOTA가 아니라, "내가 던진 질문 + 통제된 실험 + 정직한 결론"이 핵심.

경로 (택1 또는 병행)

할 일

• 구체적이고 답 가능한 연구 질문 1개 정의 (작게!)
• 통제된 실험 설계 — baseline, 변인, 여러 seed, 평가 지표
• 결과를 정직하게 — 가설이 틀려도 그 자체가 발견
• 기술 리포트/블로그 글로 정리 (그림·표·재현 코드 포함)
• (가능하면) 워크숍/arXiv에 공개 — 학부생에게 큰 차별점
• 코드 공개 + 재현 가능한 README