Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
DérivéeEn mathématiques, la dérivée d'une fonction d'une variable réelle mesure l'ampleur du changement de la valeur de la fonction (valeur de sortie) par rapport à un petit changement de son argument (valeur d'entrée). Les calculs de dérivées sont un outil fondamental du calcul infinitésimal. Par exemple, la dérivée de la position d'un objet en mouvement par rapport au temps est la vitesse (instantanée) de l'objet. La dérivée d'une fonction est une fonction qui, à tout nombre pour lequel admet un nombre dérivé, associe ce nombre dérivé.
Maximum de vraisemblanceEn statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Dérivée covarianteEn géométrie différentielle, la dérivée covariante est un outil destiné à définir la dérivée d'un champ de vecteurs sur une variété. Dans le cas où la dérivée covariante existe, il n'existe pas de différence entre la dérivée covariante et la connexion, à part la manière dont elles sont introduites. (Cela est faux quand la dérivée covariante n'existe pas en revanche ).
Dérivée partielleEn mathématiques, la dérivée partielle d'une fonction de plusieurs variables est sa dérivée par rapport à l'une de ses variables, les autres étant gardées constantes. C'est une notion de base de l'analyse en dimension , de la géométrie différentielle et de l'analyse vectorielle. La dérivée partielle de la fonction par rapport à la variable est souvent notée . Si est une fonction de et sont les accroissements infinitésimaux de respectivement, alors l'accroissement infinitésimal correspondant de est : Cette expression est la « différentielle totale » de , chaque terme dans la somme étant une « différentielle partielle » de .
Théorie de l'estimationEn statistique, la théorie de l'estimation s'intéresse à l'estimation de paramètres à partir de données empiriques mesurées ayant une composante aléatoire. Les paramètres décrivent un phénomène physique sous-jacent tel que sa valeur affecte la distribution des données mesurées. Un estimateur essaie d'approcher les paramètres inconnus à partir des mesures.
Vanishing gradient problemIn machine learning, the vanishing gradient problem is encountered when training artificial neural networks with gradient-based learning methods and backpropagation. In such methods, during each iteration of training each of the neural networks weights receives an update proportional to the partial derivative of the error function with respect to the current weight. The problem is that in some cases, the gradient will be vanishingly small, effectively preventing the weight from changing its value.
ÉvaluationSelon Michel Vial, l'évaluation est le rapport que l'on entretient avec la valeur. L'homme est porteur de valeurs qu'il a reçu plus ou moins consciemment, qu'il convoque pour mesurer la valeur d'objets ou de produits, pour contrôler les procédures (vérifier leur conformité) ou encore interroger (rendre intelligible) le sens de ses pratiques : s'interroger sur la valeur, rendre intelligible les pratiques au moyen de l'évaluation située. Plus généralement, l'évaluation est un processus mental de l'agir humain.
Dérivée totaleEn analyse, la dérivée totale d'une fonction est une généralisation du nombre dérivé pour les fonctions à plusieurs variables. Cette notion est utilisée dans divers domaines de la physique et tout particulièrement en mécanique des milieux continus et en mécanique des fluides dans lesquels les grandeurs dépendent à la fois du temps et de la position. Soit une fonction à plusieurs variables et , , fonctions de .
