순환 신경망 (RNN) 02
LSTM과 GRU 구조
기본 RNN의 기울기 손실 문제를 극복하기 위해 Gate 메커니즘을 도입한 고급 순환 신경망 구조입니다.
LSTM (Long Short-Term Memory)
셀 상태(Cell State)와 3개의 게이트를 가지고 있어 장기 기억을 보존합니다.
- • Forget Gate: 불필요한 과거 정보 삭제
- • Input Gate: 현재 새로운 정보 기억
- • Output Gate: 최종 출력 결정
GRU (Gated Recurrent Unit)
LSTM을 간소화하여 연산 속도를 개선한 모델로, 2개의 게이트로 작동합니다.
- • Reset Gate: 과거 상태를 얼마나 반영할지 조절
- • Update Gate: 과거와 현재 정보의 비율 결정
- • Cell State와 Hidden State가 하나의 상태로 통합됨