LoRA는 저랭크 행렬로 가중치 업데이트를 근사한다

요약

LoRA(Low-Rank Adaptation)는 사전학습된 모델의 가중치를 직접 수정하지 않고, 저랭크(low-rank) 행렬 분해를 통해 가중치 변화량을 효율적으로 학습하는 fine-tuning 기법이다.

기존 가중치 $W_0$ 를 고정하고, 업데이트 $\Delta W$ 를 두 개의 작은 행렬 $A$ 와 $B$ 의 곱으로 표현한다:

$h = W_0 x + \Delta W x = W_0 x + BA x$

여기서:

$W_0 \in \mathbb{R}^{d \times k}$ : 원본 가중치 (frozen)
$B \in \mathbb{R}^{d \times r}$ , $A \in \mathbb{R}^{r \times k}$ : 학습 가능한 저랭크 행렬
$r \ll \min(d, k)$ : 랭크 (보통 4, 8, 16 등 작은 값)

예를 들어 $d = k = 4096$ 이고 $r = 8$ 인 경우:

행렬의 rank는 선형 독립인 행(또는 열)의 최대 개수, 즉 그 행렬이 표현하는 정보의 진짜 차원이다.

예: 아래 행렬은 모든 행이 $[1\ 2\ 3]$ 의 배수이므로 본질적으로 1차원 정보만 담고 있다 → rank 1.

B = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 3 & 6 & 9 \end{bmatrix} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} \begin{bmatrix} 1 & 2 & 3 \end{bmatrix}

9개 숫자가 6개(3+3)로 표현 가능. LoRA의 $BA$ 분해와 같은 형태다.

기하학적으로 $d \times k$ 행렬은 $k$ 차원 → $d$ 차원 선형 변환이고, rank $r$ 이면 출력이 무조건 $d$ 차원 공간 안의 $r$ 차원 부분공간에만 떨어진다. rank가 작을수록 표현 가능한 변화의 종류가 제한된다.

LoRA는 SVD(Singular Value Decomposition)에서 영감을 받았지만 SVD를 직접 사용하지 않는다.

	행렬 분해	학습 방식
SVD	기존 행렬을 사후 분해 $M = U\Sigma V^T$	학습 X (수학적 분해)
LoRA	저랭크 형태를 사전 가정 $\Delta W = BA$	$B, A$ 를 직접 학습

비유:

SVD가 제공한 직관: "어떤 행렬이든 큰 특이값 몇 개가 대부분의 정보를 담는다 (Eckart-Young 정리)." → 그러니 $\Delta W$ 도 처음부터 저랭크로 가정해도 충분하지 않을까?

Hu et al. (2021)의 핵심 가설:

"We hypothesize that the change in weights during model adaptation also has a low intrinsic rank"

거대 사전학습 모델을 특정 태스크에 적응시킬 때 실제로 필요한 변화는 저차원 부분공간에만 존재한다. 경험적으로 $r = 1 \sim 8$ 이면 full fine-tuning과 견줄 만한 성능이 나옴.

학습 후 가중치를 합쳐버리면:

$W' = W_0 + \alpha BA$

원본 forward pass와 동일한 형태가 되어 추론 시 추가 연산이 0이다. ( $\alpha = \text{lora\_alpha}/r$ , scaling factor)

이게 Adapter tuning(bottleneck 레이어 삽입) 대비 LoRA의 큰 실용적 장점.