그래디언트

스칼라 함수의 모든 편미분을 모은 벡터. 함수가 가장 빠르게 증가하는 방향과 그 크기를 동시에 담는다.

정의

$$\nabla f = \left(\frac{\partial f}{\partial x_1},\; \frac{\partial f}{\partial x_2},\; \ldots,\; \frac{\partial f}{\partial x_n}\right)$$

2변수 함수 $f(x, y)$:

$$\nabla f = \left(\frac{\partial f}{\partial x},\; \frac{\partial f}{\partial y}\right) = f_x\,\hat{i} + f_y\,\hat{j}$$

예제 1 — 포물면

$f(x, y) = x^2 + y^2$

$$\nabla f = (2x,\; 2y)$$

점 $(1, 2)$: $\nabla f = (2, 4)$, 크기 $= \sqrt{4 + 16} = 2\sqrt{5}$

등위선 $x^2 + y^2 = c$는 원 → $\nabla f$는 원의 반지름 방향 (수직 확인됨)

예제 2 — 3변수

$f(x, y, z) = x^2 y + \sin(yz)$

$$\nabla f = \left(2xy,\;\; x^2 + z\cos(yz),\;\; y\cos(yz)\right)$$

예제 3 — 등위선과 수직

$f(x,y) = x^2 + 4y^2 = 4$ (타원) 위의 점 $(\sqrt{2}, \frac{1}{\sqrt{2}})$에서 법선 방향.

$$\nabla f = (2x, 8y) \;\Rightarrow\; \nabla f\big|_{(\sqrt{2},\,\frac{1}{\sqrt{2}})} = (2\sqrt{2},\; 4\sqrt{2})$$

이 벡터가 타원에 수직인 법선 방향이다.

$$\nabla(af + bg) = a\nabla f + b\nabla g$$

$$\nabla(fg) = f\nabla g + g\nabla f$$

$$\nabla g(f) = g'(f)\nabla f$$

$$\nabla\!\left(\frac{f}{g}\right) = \frac{g\nabla f - f\nabla g}{g^2}$$

단위벡터 $\hat{u}$ 방향의 변화율은 그래디언트와의 내적이다.

$$D_{\hat{u}}f = \nabla f \cdot \hat{u} = \|\nabla f\|\cos\theta$$

$\theta = 0$ (같은 방향) 일 때 최대 → 그래디언트 방향이 최대 증가 방향임을 수학적으로 확인.

왜 그래디언트인가?
머신러닝에서 손실함수 $L(\theta)$를 최소화할 때, $-\nabla_\theta L$을 따라 파라미터를 업데이트하면 손실이 가장 빠르게 줄어든다. 이것이 경사하강법의 핵심 원리다.

$f$	$\nabla f$
$\mathbf{a}^T\mathbf{x}$	$\mathbf{a}$
$\mathbf{x}^T A\mathbf{x}$ ($A$ 대칭)	$2A\mathbf{x}$
$\\|\mathbf{x}\\|^2$	$2\mathbf{x}$
$\\|\mathbf{x}\\|$	$\dfrac{\mathbf{x}}{\\|\mathbf{x}\\|}$
$\ln(\mathbf{a}^T\mathbf{x})$	$\dfrac{\mathbf{a}}{\mathbf{a}^T\mathbf{x}}$