딥러닝 기초 03
활성화 함수와 역전파 (Backpropagation)
신경망에 비선형성을 부여하는 활성화 함수와 오차를 기반으로 가중치를 학습시키는 역전파 알고리즘을 파악합니다.
주요 활성화 함수 (Activation Functions)
Sigmoid
출력값을 0과 1 사이로 압축합니다. 이진 분류의 출력층에 주로 사용되지만, 기울기 손실(Vanishing Gradient) 문제가 발생할 수 있습니다.
f(x) = 1 / (1 + e⁻ˣ)
ReLU
0 이하의 값은 0, 양수는 그대로 출력합니다. 연산이 매우 빠르고 기울기 손실을 완화하여 은닉층에서 가장 널리 쓰입니다.
f(x) = max(0, x)
Softmax
다중 클래스 분류 출력층에서 모든 출력값의 합이 1이 되도록 확률 분포로 변환해 줍니다.
Softmax(zᵢ) = eᶻⁱ / ∑eᶻʲ
역전파 (Backpropagation) 연산 메커니즘
// 순전파 및 역전파 흐름
1. 순전파 (Forward Pass): 입력데이터 ➔ 가중치 연산 ➔ 활성화 함수 ➔ 예측값($\hat{y}$) 생성
2. 손실 계산 (Loss Calculation): 손실 함수(Loss Function)를 통해 실제값($y$)과 예측값($\hat{y}$) 사이의 오차 산출
3. 역전파 (Backward Pass): 미분의 체인 룰(Chain Rule)을 이용하여 출력층에서 입력층 방향으로 오차 기울기 전파
4. 가중치 경신 (Weight Update): 경사하강법(Gradient Descent)으로 가중치 최적화 ($W \leftarrow W - \eta \cdot \nabla L$)