요약
사전학습된 임베딩 모델을 활용할 때 Frozen(고정)과 Fine-tuning(미세조정) 두 가지 전략이 있다. 데이터 양, 계산 비용, 과적합 위험에 따라 선택한다.
본문
Frozen (임베딩 고정)
- 사전학습된 임베딩 모델의 가중치를 고정하고, 그 위에 얇은 분류/회귀 레이어만 학습
- 장점:
- 데이터가 적어도 학습 가능
- 학습이 빠르고 안정적
- 과적합 위험 낮음
- GPU 메모리 절약
- 단점:
- 도메인 특화 표현 학습 불가
- 임베딩이 downstream task에 최적화되지 않음
Fine-tuning (미세조정)
- 임베딩 모델의 가중치까지 함께 학습
- 장점:
- 도메인/태스크에 맞게 임베딩 최적화
- 더 높은 성능 달성 가능
- 단점:
- 대량의 데이터 필요
- 계산 비용 높음
- 과적합 위험 높음
- Catastrophic forgetting 가능성
선택 기준
| 상황 | 권장 전략 |
|---|---|
| 데이터 < 1만 건 | Frozen |
| 도메인이 사전학습과 유사 | Frozen |
| 도메인이 매우 다름 | Fine-tuning |
| 계산 자원 부족 | Frozen |
| 성능 극대화 필요 | Fine-tuning (+ 충분한 데이터) |
중간 전략
- Gradual unfreezing: 상위 레이어부터 점진적으로 해동
- Discriminative fine-tuning: 레이어별로 다른 learning rate 적용
- Adapter layers: 원본 모델은 고정하고 작은 adapter만 학습
참고
- Transfer Learning 일반 원칙
- LoRA, Adapter 등 Parameter-Efficient Fine-tuning (PEFT) 기법