Precision, recall, accuracy

#matchine-learning

• True Positive: 실제 True인 정답을 True로 예측
• False Positive: 실제 False인 정답을 True로 예측
• False Negative: 실제 True인 정답을 False로 예측
• True Negative: 실제 False인 정답을 False로 예측

1. Precision(정밀도)

• 모델이 True라고 분류한 것중에서 실제 True인 것의 비율 $\text{Precision} = \frac{TP}{TP + FP}$
• 스팸 메일을 100개라고 분류 했을 때 실제로 스팸인 것은 80개, 못맞춘것은 20개 => 80%

2.Recall(재현율)

• 실제 True인 것중에서 모델이 True라고 예측한 것의 비율 $\text{Recall} = \frac{TP}{TP + FN}$
• 통계학에서는 sensitivity, 다른 분야에서는 hit rate로 사용
• 병 걸린사람 100명중에 80명만 모델이 찾고 20명을 놓친 경우 => 80%
  • missing positive instances가 위험하거나 비용이 큰 경우

두 지표의 차이

• 모두 실제 True인 정답을 모델이 True라고 예측한 경우에 관심이 있으나 바라보고자 하는 관점만 다름
• Precision은 모델의 입장에서, Recall은 데이터 입장에서

두 지표가 높을 수록 좋은 모델, 하지만 두 지표는 trade off 관계에 있음

• 두 지표 모두 분모에 TP에 Type 1, 2 error에 해당하는 FN, FP를 더해서 계산하는데 Type1 error와 Type2 error가 트레이드 오프 관계에 있기 때문에 두 지표도 트레이드 오프관계에 있음
  • 1종, 2종 에러가 Trade off 관계있는 걸 이해 못함

3. 정확도

$$\text{Accuracy} = \frac{TP + TN}{TP + FN + FP + TN}$$