Publication
The statistical complexity of early-stopped mirror descent
Concepts associés (33)
Statistical mechanics
In physics, statistical mechanics is a mathematical framework that applies statistical methods and probability theory to large assemblies of microscopic entities. It does not assume or postulate any natural laws, but explains the macroscopic behavior of nature from the behavior of such ensembles. Sometimes called statistical physics or statistical thermodynamics, its applications include many problems in the fields of physics, biology, chemistry, and neuroscience.
Gradient boosting
Gradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest.
Strong dual space
In functional analysis and related areas of mathematics, the strong dual space of a topological vector space (TVS) is the continuous dual space of equipped with the strong (dual) topology or the topology of uniform convergence on bounded subsets of where this topology is denoted by or The coarsest polar topology is called weak topology. The strong dual space plays such an important role in modern functional analysis, that the continuous dual space is usually assumed to have the strong dual topology unless indicated otherwise.
Ensemble convexe
Un objet géométrique est dit convexe lorsque, chaque fois qu'on y prend deux points et , le segment qui les joint y est entièrement contenu. Ainsi un cube plein, un disque ou une boule sont convexes, mais un objet creux ou bosselé ne l'est pas. On suppose travailler dans un contexte où le segment reliant deux points quelconques et a un sens (par exemple dans un espace affine sur R — en particulier dans un espace affine sur C — ou dans un ).
Condition de Hölder
En analyse, la continuité höldérienne ou condition de Hölder — nommée d'après le mathématicien allemand Otto Hölder — est une condition suffisante, généralisant celle de Lipschitz, pour qu’une application définie entre deux espaces métriques soit uniformément continue. La définition s’applique donc en particulier pour les fonctions d’une variable réelle. Si (X, d) et (Y, d) sont deux espaces métriques, une fonction f : X → Y est dite a-höldérienne s’il existe une constante C telle que pour tous x, y ∈ X : La continuité höldérienne d’une fonction dépend donc d’un paramètre a ∈ ]0, 1].
Hyperparameter optimization
In machine learning, hyperparameter optimization or tuning is the problem of choosing a set of optimal hyperparameters for a learning algorithm. A hyperparameter is a parameter whose value is used to control the learning process. By contrast, the values of other parameters (typically node weights) are learned. The same kind of machine learning model can require different constraints, weights or learning rates to generalize different data patterns.
Transformeur
vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Function approximation
In general, a function approximation problem asks us to select a function among a that closely matches ("approximates") a in a task-specific way. The need for function approximations arises in many branches of applied mathematics, and computer science in particular , such as predicting the growth of microbes in microbiology. Function approximations are used where theoretical models are unavailable or hard to compute.
Noyau (statistiques)
Un noyau est une fonction de pondération utilisée dans les techniques d'estimation non-paramétrique. Les noyaux interviennent dans l'estimateur par noyau pour estimer la densité de probabilité d'une variable aléatoire, ou encore dans la régression paramétrique (à noyau) pour estimer des espérances conditionnelles. Pour les séries temporelles, le noyau permet d'estimer la densité spectrale. Un noyau est une fonction positive, intégrable et à valeurs réelles, notée K, qui doit vérifier les deux conditions suivantes : normalisation : symétrie : pour toutes les valeurs de u.
Dérivabilité
Une fonction réelle d'une variable réelle est dérivable en un point a quand elle admet une dérivée finie en a, c'est-à-dire, intuitivement, quand elle peut être approchée de manière assez fine par une fonction affine au voisinage de a. Elle est dérivable sur un intervalle réel ouvert non vide si elle est dérivable en chaque point de cet intervalle. Elle est dérivable sur un intervalle réel fermé et borné (c'est-à-dire sur un segment réel) non réduit à un point si elle est dérivable sur l'intérieur de cet intervalle et dérivable à droite en sa borne gauche, et dérivable à gauche en sa borne droite.