Optimisation adaptative efficace de la mémoire

Cette séance de cours porte sur l'optimisation adaptative efficace en mémoire pour l'apprentissage à l'échelle humungique, en mettant l'accent sur le travail en commun avec Rohan Anil, Tomer Koren et Vineet Gupta. Les sujets comprennent l'apprentissage profond non linéaire, l'optimisation convexe et les techniques de préconditionnement. L'instructeur discute des défis posés par les frais généraux de mémoire dans la formation de grands modèles et les applications pratiques des méthodes de régularisation adaptative.