Rétropropagation du gradientEn intelligence artificielle, plus précisément en apprentissage automatique, la rétropropagation du gradient est une méthode pour entraîner un réseau de neurones. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première. Elle vise à corriger les erreurs selon l'importance de la contribution de chaque élément à celles-ci. Dans le cas des réseaux de neurones, les poids synaptiques qui contribuent plus à une erreur seront modifiés de manière plus importante que les poids qui provoquent une erreur marginale.
Réseau de neurones artificielsUn réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Forme de connexionEn géométrie différentielle, une 1-forme de connexion est une forme différentielle sur un -fibré principal qui vérifie certains axiomes. La donnée d'une forme de connexion permet de parler, entre autres, de courbure, de torsion, de dérivée covariante, de relevé horizontal, de transport parallèle, d'holonomie et de théorie de jauge. La notion de forme de connexion est intimement reliée à la notion de connexion d'Ehresmann. Soient : un groupe de Lie ; l'élément identité de ; l'algèbre de Lie de ; la représentation adjointe de sur ; une variété différentielle ; un -fibré principal sur .
Apprentissage par renforcementEn intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.
Connexion (mathématiques)En géométrie différentielle, la connexion est un outil pour réaliser le transport parallèle. Il existe plusieurs présentations qui dépendent de l'utilisation faite. Cette notion a été développée au début des années 1920 par Élie Cartan et Hermann Weyl (avec comme cas particulier celle de connexion affine), puis reformulée en 1951 par Charles Ehresmann et Jean-Louis Koszul. Connexion de Koszul La connexion de Koszul est un opérateur sur des espaces de sections.
Connexion de KoszulEn géométrie différentielle, une connexion (de Koszul) est un opérateur sur les sections d'un fibré vectoriel. Cette notion a été introduite par Jean-Louis Koszul en 1950 et formalise le transport parallèle de vecteurs le long d'une courbe en termes d'équation différentielle ordinaire. Les connexions sont des objets localement définis auxquels sont associées les notions de courbure et de torsion. L'un des exemples les plus simples de connexions de Koszul sans torsion est la connexion de Levi-Civita naturellement définie sur le fibré tangent de toute variété riemannienne.
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Quantification (signal)En traitement des signaux, la quantification est le procédé qui permet d'approcher un signal continu par les valeurs d'un ensemble discret d'assez petite taille. On parle aussi de quantification pour approcher un signal à valeurs dans un ensemble discret de grande taille par un ensemble plus restreint. L'application la plus courante de la quantification est la conversion analogique-numérique mais elle doit le développement de sa théorie aux problèmes de quantification pour la compression de signaux audio ou .
Connexion de Levi-CivitaEn géométrie riemannienne, la connexion de Levi-Civita est une connexion de Koszul naturellement définie sur toute variété riemannienne ou par extension sur toute variété pseudo-riemannienne. Ses propriétés caractérisent la variété riemannienne. Notamment, les géodésiques, courbes minimisant localement la distance riemannienne, sont exactement les courbes pour lesquelles le vecteur vitesse est parallèle. De plus, la courbure de la variété se définit à partir de cette connexion ; des conditions sur la courbure imposent des contraintes topologiques sur la variété.
Learning rateIn machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain. In setting a learning rate, there is a trade-off between the rate of convergence and overshooting.
