Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Espace de Hilbert à noyau reproduisantEn analyse fonctionnelle, un espace de Hilbert à noyau reproduisant est un espace de Hilbert de fonctions pour lequel toutes les applications sont des formes linéaires continues. De manière équivalente, il existe des espaces qu'on peut définir par des noyaux reproduisants. Le sujet a été originellement et simultanément développé par Nachman Aronszajn et Stefan Bergman en 1950. Les espaces de Hilbert à noyau reproduisant sont parfois désignés sous l’acronyme issu du titre anglais RKHS, pour Reproducing Kernel Hilbert Space.
Positive-definite kernelIn operator theory, a branch of mathematics, a positive-definite kernel is a generalization of a positive-definite function or a positive-definite matrix. It was first introduced by James Mercer in the early 20th century, in the context of solving integral operator equations. Since then, positive-definite functions and their various analogues and generalizations have arisen in diverse parts of mathematics.
Gradient boostingGradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest.
Cube de HilbertEn topologie, on appelle cube de Hilbert l'espace produit muni de la topologie produit, autrement dit : l'espace des suites à valeurs dans [0, 1], muni de la topologie de la convergence simple. D'après le théorème de Tykhonov, c'est un espace compact. Il est homéomorphe au sous-espace suivant de l, pour tous : Il est donc métrisable et par conséquent (puisqu'il est compact), séparable et possède la propriété suivante : Cela fournit en particulier un moyen commode pour compactifier les espaces métrisables séparables, et aussi un critère pour les classifier selon leur complexité ; par exemple un espace est polonais si et seulement s'il est homéomorphe à l'intersection d'une suite d'ouverts de K.
Processus de Poissonvignette|Schéma expliquant le processus de Poisson Un processus de Poisson, nommé d'après le mathématicien français Siméon Denis Poisson et la loi du même nom, est un processus de comptage classique dont l'équivalent discret est la somme d'un processus de Bernoulli. C'est le plus simple et le plus utilisé des processus modélisant une . C'est un processus de Markov, et même le plus simple des processus de naissance et de mort (ici un processus de naissance pur).
Automated machine learningAutomated machine learning (AutoML) is the process of automating the tasks of applying machine learning to real-world problems. AutoML potentially includes every stage from beginning with a raw dataset to building a machine learning model ready for deployment. AutoML was proposed as an artificial intelligence-based solution to the growing challenge of applying machine learning. The high degree of automation in AutoML aims to allow non-experts to make use of machine learning models and techniques without requiring them to become experts in machine learning.
Bayes estimatorIn estimation theory and decision theory, a Bayes estimator or a Bayes action is an estimator or decision rule that minimizes the posterior expected value of a loss function (i.e., the posterior expected loss). Equivalently, it maximizes the posterior expectation of a utility function. An alternative way of formulating an estimator within Bayesian statistics is maximum a posteriori estimation. Suppose an unknown parameter is known to have a prior distribution .
Apprentissage auto-superviséL'apprentissage auto-supervisé ("self-supervised learning" en anglais) (SSL) est une méthode d'apprentissage automatique. Il apprend à partir d'échantillons de données non étiquetés. Il peut être considéré comme une forme intermédiaire entre l'apprentissage supervisé et non supervisé. Il est basé sur un réseau de neurones artificiels. Le réseau de neurones apprend en deux étapes. Tout d'abord, la tâche est résolue sur la base de pseudo-étiquettes qui aident à initialiser les poids du réseau.
Processus de CoxUn processus de Cox (nommé d'après le statisticien britannique David Cox), connu aussi sous le nom de double processus stochastique de Poisson, est un processus stochastique généralisant le processus de Poisson dans lequel la moyenne n'est pas constante mais varie dans l'espace ou le temps. Dans le cadre du processus de Cox, l'intensité dépendant du temps est un processus stochastique séparé du processus de Poisson. Un exemple serait un potentiel d'action (appelé aussi influx nerveux) d'un neurone sensoriel avec une stimulation externe.
