최신 딥러닝 모델 01

어텐션 메커니즘 (Attention Mechanism)

Seq2Seq의 병목 현상을 해결하고, 예측 시점에 관련된 입력 영역에 집중(Attention)하는 기술입니다.

디코더가 단어를 예측할 때 인코더의 마지막 상태 단 하나만 의존하는 것이 아니라, **인코더의 모든 시점 은닉 상태 전체**를 다시 참고합니다. 이때 예측할 단어와 밀접한 연관이 있는 입력 단어에 더 높은 가중치(Attention Weight)를 부여합니다.

// Q, K, V 구성 요소 개념

• Query (Q): 현재 시점의 디코더 상태 (찾고자 하는 주체)

• Key (K): 모든 시점의 인코더 상태 (비교 대상 대상)

• Value (V): 가중치 계산 대상이 되는 실제 데이터 값