Lasso (statistiques)En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.
Regularized least squaresRegularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.
SmoothnessIn mathematical analysis, the smoothness of a function is a property measured by the number of continuous derivatives it has over some domain, called differentiability class. At the very minimum, a function could be considered smooth if it is differentiable everywhere (hence continuous). At the other end, it might also possess derivatives of all orders in its domain, in which case it is said to be infinitely differentiable and referred to as a C-infinity function (or function).
Application non expansiveEn mathématiques, une application non expansive entre espaces normés est une application 1-lipschitzienne. Il s'agit donc du cas limite des applications contractantes, qui sont les applications k-lipschitziennes pour un k < 1. Contrairement aux applications contractantes, les applications non expansives n'ont pas nécessairement de point fixe (par exemple, une translation de vecteur non nul est non expansive et n'a pas de point fixe).
Norme (mathématiques)En géométrie, la norme est une extension de la valeur absolue des nombres aux vecteurs. Elle permet de mesurer la longueur commune à toutes les représentations d'un vecteur dans un espace affine, mais définit aussi une distance entre deux vecteurs invariante par translation et compatible avec la multiplication externe. La norme usuelle dans le plan ou l'espace est dite euclidienne car elle est associée à un produit scalaire, à la base de la géométrie euclidienne.
Espace LpEn mathématiques, un espace L est un espace vectoriel de classes des fonctions dont la puissance d'exposant p est intégrable au sens de Lebesgue, où p est un nombre réel strictement positif. Le passage à la limite de l'exposant aboutit à la construction des espaces L de fonctions bornées. Les espaces L sont appelés espaces de Lebesgue. Identifiant les fonctions qui ne diffèrent que sur un ensemble négligeable, chaque espace L est un espace de Banach lorsque l'exposant est supérieur ou égal à 1.
Ensemble convexeUn objet géométrique est dit convexe lorsque, chaque fois qu'on y prend deux points et , le segment qui les joint y est entièrement contenu. Ainsi un cube plein, un disque ou une boule sont convexes, mais un objet creux ou bosselé ne l'est pas. On suppose travailler dans un contexte où le segment reliant deux points quelconques et a un sens (par exemple dans un espace affine sur R — en particulier dans un espace affine sur C — ou dans un ).
Grand modèle de langageUn grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.
Espace métriqueEn mathématiques et plus particulièrement en topologie, un espace métrique est un ensemble au sein duquel une notion de distance entre les éléments de l'ensemble est définie. Les éléments seront, en général, appelés des points. Tout espace métrique est canoniquement muni d'une topologie. Les espaces métrisables sont les espaces topologiques obtenus de cette manière. L'exemple correspondant le plus à notre expérience intuitive de l'espace est l'espace euclidien à trois dimensions.
Propriété de la borne supérieureEn mathématiques, un ensemble ordonné est dit posséder la propriété de la borne supérieure si tous ses sous-ensembles non vides et majorés possèdent une borne supérieure. De même, un ensemble ordonné possède la propriété de la borne inférieure si tous ses sous-ensembles non vides et minorés possèdent une borne inférieure. Il s'avère que ces deux propriétés sont équivalentes. On dit aussi parfois qu'un ensemble possédant la propriété de la borne supérieure est Dedekind complet. Soit un ensemble ordonné (partiellement ou totalement).
