딥러닝 모델이 출력 값을 계산하기 위해여 입력 중 어느 부분을 더 집중해야 하는지를 반영하기 위한 매커니즘으로, 수학적으로 입력 값들 사이의 중요도 가중치 개념으로 이해할 수 있음 최근 언어지능 분아에 큰 영향을 미친 BERT 및 GPT 모델은 집중 매커니즘을 모델의 주 요소로 사용함.1
활용 및 발전방향
- 실무 적용: 집중 매커니즘 개념을 실제 프로젝트나 업무 상황에 직접 적용해 이해를 심화한다.
- 연관 개념 학습: 관련 노트와 연결하여 맥락을 넓히고 응용 범위를 확장한다.
- 비교 분석: 유사한 방법론·도구와 비교하며 장단점을 파악한다.
- 참고 자료 탐색: 공식 문서나 전문 서적을 통해 더 깊은 이해를 추구한다.
- 사례 수집: 실제 사례를 꾸준히 수집하여 이 노트를 발전시킨다.
관련 노트
- GPT-3 — 공유 키워드:
AI,GPT,딥러닝 - GradCAM — 공유 키워드:
AI,딥러닝,실제 - SHAP — 공유 키워드:
AI,딥러닝,실제 - AGI — 공유 키워드:
AI,딥러닝,실제 - Active Learning — 공유 키워드:
AI,딥러닝,실제
Footnotes
-
쉽게 활용하는 인공지능 비즈니스 ↩