🎯 회귀(Regression)란 무엇인가?
회귀는 "얼마나 될까?"라는 질문에 답하는, **연속적인 숫자 값을 예측**하는 지도 학습의 한 분야입니다. 분류와는 예측하려는 값의 형태가 다릅니다.
| 기준 | 🔵 분류 (Classification) | 📈 회귀 (Regression) |
|---|---|---|
| 목표 | 데이터가 어떤 '종류'에 속하는지 맞추기 | 데이터에 대해 '얼마나' 될지 숫자 예측하기 |
| 예시 | 스팸 메일 분류, 펭귄 종류 분류 | 주택 가격 예측, 아이스크림 판매량 예측 |
📈 선형 회귀: 데이터를 가로지르는 최적의 직선
선형 회귀의 목표는 흩어져 있는 데이터 포인트들을 가장 잘 설명하는 하나의 '직선(회귀선)'을 찾는 것입니다.
최소 제곱법과 오차
'최소 제곱법'은 실제 데이터 값과 회귀선이 예측한 값 사이의 '오차(Error)'를 제곱한 값의 합이 최소가 되는 직선을 찾는 방법입니다.
경사 하강법: 최적의 해를 찾아가는 여정
최적의 회귀선을 찾기 위해, 경사 하강법은 '산에서 가장 낮은 계곡으로 내려오는' 것처럼 손실 함수(MSE)의 기울기를 따라 점진적으로 오차가 최소가 되는 지점을 찾아갑니다.
핵심 요약: 선형 회귀는 최소 제곱법을 통해 데이터와의 오차가 가장 적은 회귀선(`ŷ = wx + b`)을 찾습니다. 이 최적의 선을 찾는 과정에 경사 하강법과 같은 최적화 알고리즘이 사용됩니다.
🔀 로지스틱 회귀: 분류를 위한 회귀의 변신
이름과 달리 '이진 분류' 문제에 사용됩니다. 선형 회귀의 직선 예측은 0과 1의 범위를 벗어날 수 있어 확률을 표현하기에 부적합합니다.
시그모이드 함수의 마법: 직선을 S자 곡선으로!
로지스틱 회귀는 선형 함수의 결과를 **시그모이드(Sigmoid) 함수**에 통과시켜 어떤 값이든 0과 1 사이의 '확률' 값으로 변환합니다. 이 S자 형태의 곡선은 분류 문제에 매우 적합합니다.
핵심 요약: 로지스틱 회귀는 시그모이드 함수를 사용해 선형 함수의 결과를 0과 1 사이의 확률로 변환함으로써, 회귀의 아이디어를 분류 문제에 적용한 강력한 알고리즘입니다.