Scott William Pesme

Cette personne n’est plus à l’EPFL

Source officielle

https://people.epfl.ch/scott.pesme?lang=fr

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Publications associées (7)

Veuillez noter qu'il ne s'agit pas d'une liste complète des publications de cette personne. Elle inclut uniquement les travaux sémantiquement pertinents. Pour une liste complète, veuillez consulter Infoscience.

Personnes menant des recherches similaires (9)

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks

Nicolas Henri Bernard Flammarion, Hristo Georgiev Papazov, Scott William Pesme

In this work, we investigate the effect of momentum on the optimisation trajectory of gradient descent. We leverage a continuous-time approach in the analysis of momentum gradient descent with step size

\gamma

and momentum parameter

\beta

that allows u ...

2024

Deep Learning Theory Through the Lens of Diagonal Linear Networks

Scott William Pesme

In this PhD manuscript, we explore optimisation phenomena which occur in complex neural networks through the lens of

2

-layer diagonal linear networks. This rudimentary architecture, which consists of a two layer feedforward linear network with a diagonal ...

EPFL2024

Scott William Pesme

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks

Deep Learning Theory Through the Lens of Diagonal Linear Networks

(S)GD over Diagonal Linear Networks: Implicit Regularisation, Large Stepsizes and Edge of Stability

Leveraging Continuous Time to Understand Momentum When Training Diagonal Linear Networks

Deep Learning Theory Through the Lens of Diagonal Linear Networks

(S)GD over Diagonal Linear Networks: Implicit Regularisation, Large Stepsizes and Edge of Stability