트랜스포머(Transformer) 구조 쉽게 이해하기: 현대 AI를 만든 핵심 아키텍처

트랜스포머는 문장 전체를 통째로 올려두고 단어 간의 연관성을 한 번에 병렬 연산하는 현대 거대언어모델(LLM)의 핵심 백본 신경망입니다.

과거의 순환 신경망(RNN, LSTM)이 문장을 단어 순서대로 하나씩 순차 처리했던 방식에서 벗어나, 문맥 전체를 한 번에 계산하는 셀프 어텐션(Self-Attention) 구조를 도입하여 자연어 처리 기술의 비약적인 발전을 이끌어냈습니다.

1. 트랜스포머를 지탱하는 4대 핵심 구성 요소

1. 위치 인코딩 (Positional Encoding): 단어들을 동시에 병렬로 입력받기 때문에 사라지기 쉬운 어순 정보를 삼각함수(Sin/Cos) 기반 수치 벡터로 임베딩 벡터에 합성합니다.
2. 셀프 어텐션 (Self-Attention): 한 문장 안의 모든 단어가 서로에게 미치는 영향력(주목도 가중치)을 직접 계산하여 다의어의 모호성을 해소하고 대명사가 지칭하는 대상을 정밀하게 식별합니다.
3. 피드포워드 신경망 (Feed-Forward Network, FFN): 어텐션 블록이 추출한 문맥 관계 정보를 각 토큰 위치별로 독립적인 비선형 변환을 거쳐 모델 내부 파라미터 지식으로 축적합니다.
4. 잔차 연결 및 정규화 (Add & Norm): 신경망 레이어가 깊어져도 신호가 소실되거나 왜곡되지 않도록 안정적인 학습 및 추론 흐름을 유지합니다.

2. 셀프 어텐션의 핵심: Q·K·V 메커니즘

셀프 어텐션은 검색 엔진의 질의·응답 구조와 유사한 Q·K·V 연산을 통해 수행됩니다.

• Query (질의): 현재 분석 기준이 되는 대상 단어
• Key (키값): 문맥 내 비교 대상 단어들의 고유 식별 주소
• Value (내용값): 각 단어가 지닌 실제 의미 정보의 벡터

Query와 Key의 내적을 계산하여 상호 유사도(어텐션 스코어)를 구하고, 이를 가중치 삼아 Value 벡터를 가중합함으로써 문맥이 온전히 반영된 새로운 단어 벡터를 도출합니다.

3. 기존 순환 신경망(RNN) vs 트랜스포머 비교

4. 트랜스포머 기반의 3대 모델 계열

• 인코더 전용 모델 (예: BERT): 문맥 전체를 양방향으로 깊이 있게 분석하는 데 특화되어 문서 분류, 문장 유사도 평가, 정보 추출에 적합합니다.
• 디코더 전용 모델 (예: GPT, Llama): 앞서 등장한 단어를 바탕으로 다음 단어를 연속 예측(자기회귀)하는 텍스트 생성 작업에 탁월합니다.
• 인코더-디코더 복합 모델 (예: T5): 입력을 정밀하게 해석한 후 새로운 언어나 형태로 재구성하는 번역 및 장문 요약 과업에 최적화되어 있습니다.