순환 신경망 (RNN) 01
RNN(Recurrent Neural Network)의 이해
시계열 데이터, 자연어 텍스트와 같은 순차적(Sequential) 데이터를 처리하는 순환 신경망의 기본 개념입니다.
순환 메커니즘과 은닉 상태 (Hidden State)
RNN은 과거의 정보를 현재 연산에 반영할 수 있도록 **은닉 상태(Hidden State)**를 순환 구조를 통해 전달합니다. $t$ 시점의 은닉 상태 $h_t$는 현재 입력 $x_t$와 이전 시점의 은닉 상태 $h_{t-1}$에 의해 결정됩니다.
// RNN 은닉 상태 연산 공식
hₜ = tanh( Wₓh · xₜ + Wₕₕ · hₜ₋₁ + b )
RNN의 장기 의존성 문제 (Long-term Dependency Problem)
시퀀스 길이가 길어질수록 과거 시점의 기울기가 역전파 과정에서 유실(Gradient Vanishing)되거나 폭발(Gradient Exploding)하여 앞부분의 정보를 잊어버리는 한계가 존재합니다.