Publication
A new regret analysis for Adam-type algorithms
Résumé
In this paper, we focus on a theory-practice gap for Adam and its variants (AMSgrad, AdamNC, etc.). In practice, these algorithms are used with a constant first-order moment parameter 1 (typically between 0:9 and 0:99). In theory, regret guarantees for online convex optimization require a rapidly decaying 1 ! 0 schedule. We show that this is an artifact of the standard analysis and propose a novel framework that allows us to derive optimal, data-dependent regret bounds with a constant 1, without further assumptions. We also demonstrate the flexibility of our analysis on a wide range of different algorithms and settings.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Proximité ontologique
Concepts associés (22)
Commande optimale
La théorie de la commande optimale permet de déterminer la commande d'un système qui minimise (ou maximise) un critère de performance, éventuellement sous des contraintes pouvant porter sur la commande ou sur l'état du système. Cette théorie est une généralisation du calcul des variations. Elle comporte deux volets : le principe du maximum (ou du minimum, suivant la manière dont on définit l'hamiltonien) dû à Lev Pontriaguine et à ses collaborateurs de l'institut de mathématiques Steklov , et l'équation de Hamilton-Jacobi-Bellman, généralisation de l'équation de Hamilton-Jacobi, et conséquence directe de la programmation dynamique initiée aux États-Unis par Richard Bellman.
Constante de temps
En physique, une constante de temps est une grandeur, homogène à un temps, caractérisant la rapidité de l'évolution d'une grandeur physique dans le temps , particulièrement lorsque cette évolution est exponentielle . La constante de temps est liée à l'étude de la réponse impulsionnelle d'un système. La durée nécessaire au retour à l'équilibre après la disparition d'une perturbation est appelée temps de relaxation.
Décroissance exponentielle
thumb|La décharge d'un condensateur est à décroissance exponentielle. La décroissance exponentielle d'une quantité est sa diminution au fil du temps selon une loi exponentielle. On l'observe quand la dérivée par rapport au temps de cette quantité (c'est-à-dire son taux de variation instantané) est négative et proportionnelle à la quantité elle-même. Dans la langue courante on emploie souvent, mais improprement, le terme « décroissance exponentielle » pour qualifier une diminution simplement décélérée, quand la valeur absolue de la dérivée est elle-même décroissante.
Publications associées (38)
Primal-Dual Contextual Bayesian Optimization for Control System Online Optimization with Time-Average Constraints
Colin Neil Jones, Yuning Jiang, Bratislav Svetozarevic, Wenjie Xu
This paper studies the problem of online performance optimization of constrained closed-loop control systems, where both the objective and the constraints are unknown black-box functions affected by exogenous time-varying contextual disturbances. A primal- ...
New York2023Adaptation in Stochastic Algorithms: From Nonsmooth Optimization to Min-Max Problems and Beyond
Stochastic gradient descent (SGD) and randomized coordinate descent (RCD) are two of the workhorses for training modern automated decision systems. Intriguingly, convergence properties of these methods are not well-established as we move away from the spec ...
EPFL2021MOOCs associés (5)
Plasma Physics: Introduction
Learn the basics of plasma, one of the fundamental states of matter, and the different types of models used to describe it, including fluid and kinetic.
Plasma Physics: Introduction
Learn the basics of plasma, one of the fundamental states of matter, and the different types of models used to describe it, including fluid and kinetic.
Plasma Physics: Applications
Learn about plasma applications from nuclear fusion powering the sun, to making integrated circuits, to generating electricity.