Explore les biais implicites, la descente de gradient, la stabilité dans les algorithmes d'optimisation et les limites de généralisation dans l'apprentissage automatique.
Analyse la descente du gradient sur les réseaux neuraux ReLU à deux couches, en explorant la convergence globale, la régularisation, les biais implicites et l'efficacité statistique.
S'insère dans le compromis entre la complexité du modèle et le risque, les limites de généralisation, et les dangers d'un ajustement excessif des classes de fonctions complexes.
Explore les courbes de double descente et la surparamétrisation dans les modèles d'apprentissage automatique, en soulignant les risques et les avantages.
Volkan Cevher se penche sur les mathématiques de l’apprentissage profond, explorant la complexité des modèles, les compromis de risque et le mystère de la généralisation.
Discute des techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la descente de gradient stochastique et ses applications dans les problèmes contraints et non convexes.
