Méthodes Quasi-Newton

Cette séance de cours couvre les méthodes Quasi-Newton, qui remplacent la matrice hessienne par une approximation pour fournir des directions de descente lorsque les seconds dérivés ne sont pas disponibles ou trop chers pour calculer. Il introduit la méthode Davidon-Fletcher-Powell (DFP) et l'algorithme Broyden-Fletcher-Goldfarb-Shanno (BFGS), expliquant comment ils évaluent les deuxièmes dérivés à la volée et mettent à jour la matrice d'approximation. La séance de cours conclut en comparant ces méthodes avec la méthode Gradient Descent et Newton, soulignant les avantages des méthodes Quasi-Newton pour une optimisation sans contrainte.