Transformer

자연어와 같은 시퀀스 데이터를 입력으로 번역, 대화처리, 요약 등을 가능한 한 기계학습 신경망 모델로 순차적 처리 아닌 병렬처리로 RNN보다 정보 손실이 적고 다중 주의집중으로 입력 시퀀스의 장거리 관계 파악이 장점임. BERT와 GPT 등의 언어모델에 사용된 모델¹ 모델/구조 기존의 번역 기술에 사용하는 RNN 대신에 Encoder들과 Decoder들을 적층하여 변환하는 기술로 RNN보다 더 우수한 성능을 보유하고 있음.¹

Footnotes

1. 쉽게 활용하는 인공지능 비즈니스 ↩ ↩²