Personne

Hristo Georgiev Papazov

Source officielle

https://people.epfl.ch/hristo.papazov?lang=fr

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks

Nicolas Henri Bernard Flammarion, Hristo Georgiev Papazov, Scott William Pesme

In this work, we investigate the effect of momentum on the optimisation trajectory of gradient descent. We leverage a continuous-time approach in the analysis of momentum gradient descent with step size

\gamma

and momentum parameter

\beta

that allows u ...

2024

Hristo Georgiev Papazov

Graph Chatbot

Learning Algorithms in the Limit

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks

Learning Algorithms in the Limit

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks