Méthodes d'optimisation : Analyse des problèmes sans contrainte

Cette séance de cours porte sur l'analyse de problèmes d'optimisation sans contrainte en utilisant des méthodes de descente par gradient et de descente accélérée par gradient. L'instructeur présente des diagrammes de convergence et discute de l'impact de la douceur et de la forte convexité sur les algorithmes d'optimisation. Différents scénarios sont explorés, y compris des cas où les algorithmes peuvent ou non s'adapter à la forte convexité sous-jacente du problème. La séance de cours se penche également sur les implications des différentes tailles d'étapes sur les taux de convergence et sur l'importance d'identifier correctement les caractéristiques des problèmes. En outre, on examine l'échelle spatiale des méthodes d'optimisation, en mettant en évidence les différences de performance à mesure que la dimensionnalité des problèmes augmente. Grâce à une analyse et à des comparaisons détaillées, les étudiants acquièrent des connaissances sur le comportement des algorithmes d'optimisation dans différents paramètres de problèmes.