Méthodes de graduation adaptative

Cette séance de cours couvre les méthodes de gradient adaptatif, y compris l'algorithme de descente métrique variable et AdaGrad. Il explique comment ces méthodes s'adaptent localement en fixant la matrice hessienne à partir d'informations sur les gradients passés. La séance de cours s'inscrit dans les détails mathématiques d'AdaGrad, mettant en évidence sa taille d'étape adaptative et son extension coordonnée. Il examine également les taux de convergence pour AdaGrad et introduit AcceleGrad, une combinaison d'algorithmes adaptatifs et accélérés. La séance de cours explore en outre UniXGrad, un algorithme extra-gradient accéléré pour les contraintes de manipulation, et ExtraNewton, une méthode adaptative de Newton avec des taux de convergence rapides.