Destilación de Conocimiento

Técnica de compresión de modelos en la que un modelo más pequeño, llamado 'estudiante', se entrena para reproducir el comportamiento o las salidas suavizadas de un modelo mayor, llamado 'profesor', de modo que el estudiante herede estructura predictiva útil siendo más compacto y eficiente.