자연어와 같은 시퀀스 데이터를 입력으로 번역, 대화처리, 요약 등을 가능한 한 기계학습 신경망 모델로 순차적 처리 아닌 병렬처리로 RNN 보다 정보 손실이 적고 다중 주의집중으로 입력 시퀀스의 장거리 관계 파악이 장점임. BERT 와 GPT 등의 언어모델에 사용된 모델1 모델/구조 기존의 번역 기술에 사용하는 RNN 대신에 Encoder 들과 Decoder 들을 적층하여 변환하는 기술로 RNN 보다 더 우수한 성능을 보유하고 있음.1
활용 및 발전방향
- 실무 적용: Transformer 개념을 실제 프로젝트나 업무 상황에 직접 적용해 이해를 심화한다.
- 연관 개념 학습: 관련 노트와 연결하여 맥락을 넓히고 응용 범위를 확장한다.
- 비교 분석: 유사한 방법론·도구와 비교하며 장단점을 파악한다.
- 참고 자료 탐색: 공식 문서나 전문 서적을 통해 더 깊은 이해를 추구한다.
- 사례 수집: 실제 사례를 꾸준히 수집하여 이 노트를 발전시킨다.
관련 노트
- GPT-3 — 공유 키워드:
AI,GPT,실제 - LSTM — 공유 키워드:
AI,RNN,실제 - RNN-T — 공유 키워드:
AI,RNN,실제 - RNN — 공유 키워드:
AI,RNN,실제 - 블랙박스 모델 — 공유 키워드:
AI,모델,실제