Concept
Rétropropagation du gradient
Concepts associés (25)
Produit matriciel de Hadamard
vignette|Illustration du produit de Hadamard: il s'applique à deux matrices de mêmes dimensions et la matrice en resultant a les mêmes dimensions également. En mathématiques, le produit matriciel de Hadamard, nommé d'après le mathématicien français Jacques Hadamard et parfois désigné produit de Schur, est une opération binaire qui pour deux matrices de mêmes dimensions, associe une autre matrice, de même dimension, et où chaque coefficient est le produit terme à terme des deux matrices.
Auto-encodeur
Un auto-encodeur (autoencodeur), ou auto-associateur est un réseau de neurones artificiels utilisé pour l'apprentissage non supervisé de caractéristiques discriminantes. L'objectif d'un auto-encodeur est d'apprendre une représentation (encodage) d'un ensemble de données, généralement dans le but de réduire la dimension de cet ensemble. Récemment, le concept d'auto-encodeur est devenu plus largement utilisé pour l'apprentissage de modèles génératifs.
Rprop
Rprop, short for resilient backpropagation, is a learning heuristic for supervised learning in feedforward artificial neural networks. This is a first-order optimization algorithm. This algorithm was created by Martin Riedmiller and Heinrich Braun in 1992. Similarly to the Manhattan update rule, Rprop takes into account only the sign of the partial derivative over all patterns (not the magnitude), and acts independently on each "weight".
Extreme learning machine
En apprentissage automatique, le terme extreme learning machine (machine à apprentissage extrême) fait référence à un type de réseau de neurones. Sa spécificité est de n'avoir qu'une seule couche de nœuds cachés, où les poids des entrées de connexion de nœuds cachés sont répartis au hasard et jamais mis à jour. Ces poids entre les nœuds cachés d'entrée et les sorties sont appris en une seule étape, ce qui revient essentiellement à l'apprentissage d'un modèle linéaire.
Radial basis function network
In the field of mathematical modeling, a radial basis function network is an artificial neural network that uses radial basis functions as activation functions. The output of the network is a linear combination of radial basis functions of the inputs and neuron parameters. Radial basis function networks have many uses, including function approximation, time series prediction, classification, and system control. They were first formulated in a 1988 paper by Broomhead and Lowe, both researchers at the Royal Signals and Radar Establishment.