8 - 24. 성능 평가 metric

🎯 개요

• 머신러닝 모델의 성능을 정량적으로 측정하고 비교하기 위한 기준.
• 이를 **metric (지표)이라 하며, 문제 유형과 목적에 따라 선택해야 함.

💡 적절한 metric 선택은 모델 평가의 핵심!

💡 비지도학습은 적절한 metric이 없을 수도 있음 (시각화 활용도 중요)

---

✅ 1. 지도학습의 Metric

🔹 분류 문제(Classification)

지표 설명 수식

Accuracy	전체 예측 중 정답 비율	(TP + TN) / (TP + FP + FN + TN)
Precision	Positive 예측 중 실제 Positive 비율	TP / (TP + FP)
Recall	실제 Positive 중 맞춘 비율	TP / (TP + FN)
F1 Score	Precision과 Recall의 조화 평균	2 * (P * R) / (P + R)

📌 Confusion Matrix:

• TP: True Positive (정답 Positive 맞춤)
• TN: True Negative (정답 Negative 맞춤)
• FP: False Positive (Negative인데 Positive로 예측)
• FN: False Negative (Positive인데 Negative로 예측)

---

🔸 ROC Curve & AUC

• ROC Curve: 분류기의 임계값 변화에 따른 성능 시각화
• X축: FPR (거짓 양성률), Y축: TPR (진짜 양성률 = Recall)
• AUC (Area Under the Curve): ROC 아래 면적
• → 전체 성능 종합지표

예측 확률 분포 시각화 사용

ROC Curve는 이진 분류 모델의 성능을 시각적으로 평가하는 도구로, 곡선이 왼쪽 위로 치우칠수록 모델의 분류 성능이 우수함

 

AUC 값 해석

≅ 1.0	거의 완벽한 분류기
≅ 0.5	무작위 분류기 수준 (랜덤)

---

🔹 회귀 문제(Regression)

지표 설명

MSE (Mean Squared Error)	예측값과 실제값의 제곱 오차 평균
R² (결정계수)	모델이 데이터 변동을 얼마나 설명하는지

R² = 1 - (SS_res / SS_tot)

• SS_res: 잔차 제곱합 (예측 - 실제)
• SS_tot: 총 제곱합 (실제 - 평균)
• R² = 1: 완벽한 설명력 / R² = 0: 설명력 없음

⚠️ 주의: 변수 수 늘릴수록 R²가 커지며, 과적합 발생 가능성 ↑

---

✅ 2. 비지도학습의 Metric

🔸 군집화 (Clustering)

지표 설명

SSE (Sum of Squared Error)	클러스터 중심과 데이터 거리 제곱합
Silhouette Score	클러스터 내부와 외부의 거리 차이 비교

🔸 이상치 탐지

• 명확한 metric이 없는 경우 많음
• 분류 문제의 지표(예: Precision/Recall 등)를 활용하거나, 시각화 활용

---

✅ 예제 코드 (Confusion Matrix 기준)

from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score, roc_auc_score

y_true = [0, 1, 1, 0, 1]
y_pred = [0, 1, 0, 0, 1]

print(confusion_matrix(y_true, y_pred))
print("Precision:", precision_score(y_true, y_pred))
print("Recall:", recall_score(y_true, y_pred))
print("F1 Score:", f1_score(y_true, y_pred))
print("AUC:", roc_auc_score(y_true, y_pred))