이미 학습이 잘되어 성능이 좋은 대규모 딥러닝 네트워크가 학습한 숨은 지식을 소규모 딥러닝 네트워크가 학습하여 전수받도록 하여 계산략이 적으면서도 성능이 좋은 압축된 신경망 모델을 만드는 방법.1
활용 및 발전방향
- 실무 적용: 지식 증류 개념을 실제 프로젝트나 업무 상황에 직접 적용해 이해를 심화한다.
- 연관 개념 학습: 관련 노트와 연결하여 맥락을 넓히고 응용 범위를 확장한다.
- 비교 분석: 유사한 방법론·도구와 비교하며 장단점을 파악한다.
- 참고 자료 탐색: 공식 문서나 전문 서적을 통해 더 깊은 이해를 추구한다.
- 사례 수집: 실제 사례를 꾸준히 수집하여 이 노트를 발전시킨다.
관련 노트
- AGI — 공유 키워드:
AI,딥러닝,머신러닝 - Active Learning — 공유 키워드:
AI,딥러닝,머신러닝 - Annotation — 공유 키워드:
AI,딥러닝,머신러닝 - Atros Convolution — 공유 키워드:
AI,딥러닝,머신러닝 - Attention mechanism — 공유 키워드:
AI,딥러닝,머신러닝
Footnotes
-
쉽게 활용하는 인공지능 비즈니스 ↩