지식 증류

이미 학습이 잘되어 성능이 좋은 대규모 딥러닝 네트워크가 학습한 숨은 지식을 소규모 딥러닝 네트워크가 학습하여 전수받도록 하여 계산략이 적으면서도 성능이 좋은 압축된 신경망 모델을 만드는 방법.¹