집중 매커니즘

딥러닝 모델이 출력 값을 계산하기 위해여 입력 중 어느 부분을 더 집중해야 하는지를 반영하기 위한 매커니즘으로, 수학적으로 입력 값들 사이의 중요도 가중치 개념으로 이해할 수 있음 최근 언어지능 분아에 큰 영향을 미친 BERT 및 GPT 모델은 집중 매커니즘을 모델의 주 요소로 사용함.¹