최신 딥러닝 모델 02
트랜스포머 (Transformer) 아키텍처
"Attention Is All You Need" 논문에서 제안된, 현대 LLM(대형 언어 모델)의 근간을 이루는 모델입니다.
Self-Attention 메커니즘
RNN 구조를 완전히 탈피하고, 입력 문장 내부 단어들끼리의 상호 관계를 한 번에 병렬 연산하여 빠르고 정교하게 언어적 문맥을 이해합니다.
Positional Encoding
순차적 연산을 하지 않기 때문에 단어 위치 정보를 병렬 입력 데이터에 제공하기 위해 위치 인코딩 값을 가산해 줍니다.
파생 LLM 모델 파이프라인
• BERT (Encoder 기반): 문맥 이해, 분류 특화
• GPT (Decoder 기반): 자율적인 텍스트 생성, 대화형 모델 특화