요약
Downstream task는 사전학습된 모델을 실제로 적용하는 최종 목표 태스크다. 사전학습(upstream)에서 학습한 일반적 표현을 활용해 구체적인 문제를 푼다.
본문
Upstream vs Downstream
사전학습 (Upstream) → Downstream Task
────────────────────────────────────────
대량 데이터로 실제 풀고 싶은 문제
일반적 표현 학습 (분류, 검색, QA 등)
- Upstream (상류): 먼저 일어나는 사전학습 단계
- Downstream (하류): 그 결과물을 받아서 수행하는 실제 태스크
예시
| 사전학습 모델 | Downstream Task |
|---|---|
| BERT (언어 모델링) | 감성 분석, 질의응답, NER |
| ResNet (ImageNet) | 의료 이미지 분류, 객체 탐지 |
| OpenAI Embedding | 문서 검색, 클러스터링, 추천 |
Transfer Learning과의 관계
Transfer learning의 핵심은 upstream에서 학습한 지식을 downstream task에 전이(transfer)하는 것이다. Downstream task의 데이터가 적어도 사전학습된 표현 덕분에 좋은 성능을 낼 수 있다.
참고
- 임베딩 모델의 Frozen vs Fine-tuning 전략
- Transfer Learning
- Pre-training