Wissensdestillation

Eine Modellkomprimierungstechnik, bei der ein kleineres 'Student'-Modell darauf trainiert wird, das Verhalten oder die abgeschwächten Ausgaben eines größeren 'Teacher'-Modells nachzubilden, sodass der Student nützliche prädiktive Strukturen übernimmt und zugleich kompakter und effizienter ist.