Explore la prise de décision dans l'incertitude, en se concentrant sur la thèse de doctorat posthume de Kilian Schindler sur l'optimisation stochastique évolutive et la réduction de scénarios.
Couvre l'optimisation non convexe, les problèmes d'apprentissage profond, la descente stochastique des gradients, les méthodes d'adaptation et les architectures réseau neuronales.
Explore l'impact du bruit de gradient sur les algorithmes d'optimisation, en se concentrant sur les fonctions de risque lisses et non lisses et la dérivation des moments de bruit de gradient.
Explore l'optimisation non convexe dans l'apprentissage profond, couvrant les points critiques, la convergence SGD, les points de selle et les méthodes de gradient adaptatif.
Explore l'optimisation adaptative efficace dans la mémoire pour l'apprentissage à grande échelle et les défis de la mémoire dans la formation de grands modèles.
Couvre les techniques de réduction de la variance dans l'optimisation, en mettant l'accent sur la descente en gradient et les méthodes de descente en gradient stochastique.
Explore la quantification de l'incertitude à l'aide des méthodes de Quasi Monte Carlo et des mesures des écarts pour l'approximation intégrale et l'estimation du volume.
