Pretext Task

Pretext는 미리 만들어진 본문이라는 의미로 학습에 활용될 수 있는 다양한 특징을 정의. 언어에서 순차적 특징을 알기 위해 무작위 단어들 관계를 학습하는 것과 같이 사전에 학습하는 업무로 정의됨.¹