⚠️ 정확도의 함정: 불균형 데이터 문제
정확도는 가장 직관적인 지표지만, 데이터의 클래스가 불균형할 경우 모델의 심각한 결함을 숨길 수 있습니다.
비유: 암 진단 모델의 함정
1,000명 중 10명만 암 환자(Positive), 990명은 정상(Negative)인 데이터가 있습니다.
만약 어떤 모델이 모든 사람을 무조건 '정상'이라고만 예측한다면?
정확도 =
결과: 정확도는 99%로 매우 높지만,
실제 암 환자 10명을 단 한 명도 찾아내지 못한 쓸모없는 모델입니다.
핵심 요약: 정확도는 데이터 불균형에 취약합니다. 모델의 예측 결과를 상세히 해부하는 **오차 행렬(Confusion Matrix)**을 통해 더 깊이 있는 평가가 반드시 필요합니다.
🔬 예측 결과 해부하기: 오차 행렬 (Confusion Matrix)
오차 행렬은 이진 분류 모델의 예측 결과를 실제 결과와 교차하여, 모델이 어떤 종류의 실수를 하는지 상세하게 보여주는 강력한 도구입니다.
예측: Positive
(암)
(암)
예측: Negative
(정상)
(정상)
실제
Positive
(암)
(암)
TP (True Positive)암 → 암 (정답)
FN (False Negative)암 → 정상 (치명적 실수)2종 오류 (미탐)
Negative
(정상)
(정상)
FP (False Positive)정상 → 암 (실수)1종 오류 (오탐)
TN (True Negative)정상 → 정상 (정답)
핵심 요약: 오차 행렬은 모델이 얼마나 '혼동'하고 있는지 보여줍니다. **FN**은 '있는데 없다고 하는 것'(미탐), **FP**는 '없는데 있다고 하는 것'(오탐)으로, 문제의 종류에 따라 두 오류의 중요도가 달라집니다.
🎯 핵심 평가 지표: 문제에 따라 올바른 잣대 사용하기
오차 행렬을 통해, 우리는 문제 상황에 맞는 핵심 지표들로 모델의 성능을 더 세밀하게 평가할 수 있습니다.
🎯 정밀도 (Precision)
TP / (TP + FP)
"모델의 Positive 예측이
얼마나 믿을만한가?"
FP(오탐)를 줄이는 것이 목표
중요한 경우: 스팸 메일 필터
(정상 메일을 스팸으로 보내면 안 됨)
(정상 메일을 스팸으로 보내면 안 됨)
🔍 재현율 (Recall)
TP / (TP + FN)
"실제 Positive 케이스를
얼마나 잘 찾아내는가?"
FN(미탐)을 줄이는 것이 목표
중요한 경우: 암 진단, 금융 사기 탐지
(실제 환자/사기를 놓치면 안 됨)
(실제 환자/사기를 놓치면 안 됨)
⭐ F1 스코어
2 * (정밀도*재현율) / (정밀도+재현율)
"정밀도와 재현율의
균형 잡힌 평균은?"
두 지표가 모두 중요할 때 사용
중요한 경우: 데이터 불균형이 심할 때
(종합적인 성능 평가)
(종합적인 성능 평가)