Distillation de Connaissances

Technique de compression de modèle dans laquelle un modèle plus petit dit « étudiant » est entraîné à reproduire le comportement ou les sorties assouplies d'un modèle plus grand dit « enseignant », afin que l'étudiant hérite de la structure prédictive utile tout en étant plus compact et efficace.