LoRA 하이퍼파라미터 튜닝 가이드

요약

LoRA의 주요 하이퍼파라미터는 랭크(r), 스케일링 팩터(alpha), 적용 모듈, 드롭아웃이다. 태스크 복잡도와 데이터셋 크기에 따라 적절히 조정해야 한다.

본문

주요 하이퍼파라미터

1. 랭크 (r)

권장: 8로 시작해서 성능 보고 조정

2. Alpha (α)

• 역할: $\frac{\alpha}{r}$로 업데이트 스케일링
• 일반적 설정: $\alpha = 2r$ (예: r=8이면 α=16)
• 높은 alpha: 더 공격적인 업데이트
• 낮은 alpha: 더 보수적인 업데이트

3. 드롭아웃

lora_dropout=0.05  # 일반적인 값
lora_dropout=0.1   # 과적합 방지가 필요할 때

태스크별 권장 설정

도메인 적응 (간단)

LoraConfig(
    r=4,
    lora_alpha=8,
    target_modules=["q_proj", "v_proj"],
)

지시문 튜닝 (중간)

LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
)

복잡한 추론 (고급)

LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],
)

학습률 설정

LoRA는 일반적으로 더 높은 학습률 사용 가능:

• Full fine-tuning: 1e-5 ~ 5e-5
• LoRA: 1e-4 ~ 3e-4

실험 팁

1. 랭크 먼저 고정: r=8로 시작
2. 모듈 실험: q,v → q,k,v,o → 전체
3. alpha 조정: 성능 포화 시 증가
4. 드롭아웃: 과적합 발생 시 추가

참고

• LoRA는 저랭크 행렬로 가중치 업데이트를 근사한다
• LoRA는 Transformer의 Attention 레이어에 주로 적용된다