Bias implicites dans l'apprentissage automatique

Cette séance de cours explore les biais implicites dans l'apprentissage automatique, en se concentrant sur des ensembles de données linéairement séparables et le biais implicite de descente de gradient. Il explore également le biais implicite pour les objectifs non convexes, l'achèvement de la matrice profonde et les performances pratiques de la descente stochastique du gradient. La discussion s'étend à la courbe de double descente, sous-paramétrée, seuil d'interpolation et interpolation inoffensive dans le régime sur-paramétré. En outre, il couvre la stabilité dans les algorithmes d'optimisation, les limites de généralisation basées sur une stabilité uniforme et la stabilité de la descente du gradient stochastique. La séance de cours se termine par une analyse de l'effet du nombre d'itérations sur la stabilité de SGD et l'erreur de généralisation.