Les bases de l'optimisation

Cette séance de cours couvre les bases de l'optimisation, en commençant par la régression logistique et en maximisant la marge. Il explore les dérivés des fonctions linéaires et non linéaires, les fonctions convexes par rapport aux fonctions non convexes et le processus de minimisation des fonctions convexes à l'aide d'algorithmes tels que la descente de gradient. La séance de cours explore également l'influence de la taille des pas et des points de départ dans l'optimisation, le concept de gradient conjugué et les méthodes de second ordre comme la méthode de Newton. Les implémentations pratiques de Python et les instabilités potentielles dans l'optimisation sont discutées, ainsi que l'importance des fonctions convexes pour avoir un minimum global.