Optimisation dans l'apprentissage automatique: Gradient Descent

Cette séance de cours introduit l'optimisation dans l'apprentissage automatique, en mettant l'accent sur la descente en gradient. Il couvre la solution analytique pour la régression linéaire, l'absence de solutions analytiques pour la régression logistique et l'utilisation d'optimiseurs spécialisés. Le concept de convexité, de descente stochastique en gradient et d'arrêt précoce sont expliqués. Des considérations pratiques telles que le choix d'un bon taux d'apprentissage et le prétraitement des données sont discutées. La séance de cours se penche également sur la résolution du problème XOR sans ingénierie des fonctionnalités en utilisant la régression logistique et les réseaux neuraux.