Séance de cours
Optimisation adaptative efficace de la mémoire
Description
Cette séance de cours porte sur l'optimisation adaptative efficace en mémoire pour l'apprentissage à l'échelle humungique, en mettant l'accent sur le travail en commun avec Rohan Anil, Tomer Koren et Vineet Gupta. Les sujets comprennent l'apprentissage profond non linéaire, l'optimisation convexe et les techniques de préconditionnement. L'instructeur discute des défis posés par les frais généraux de mémoire dans la formation de grands modèles et les applications pratiques des méthodes de régularisation adaptative.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.