Séance de cours
Cette séance de cours de l'instructeur aborde le concept de l'apprentissage supervisé comme un problème mal posé et comment des contraintes sont imposées à la solution par la régularisation. L'exposé introduit un nouveau théorème de représentant qui caractérise la solution des problèmes d'optimisation fonctionnelle, conduisant à des algorithmes classiques comme les techniques basées sur le noyau et les splines lissantes. La séance de cours explore l'intégration de splines adaptatives clairsemées dans les architectures neurales, ce qui se traduit par des splines linéaires adaptatives haute dimension et des réseaux neuraux profonds avec des activations ReLU.