Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Calcul par réservoirLe calcul par réservoir (de l'anglais reservoir computing) est un cadre de calcul dérivé de la théorie des réseaux de neurones récurrents qui mappe un ou plusieurs signaux d'entrée dans des espaces de calcul de dimension supérieure grâce à la dynamique d'un système fixe et non linéaire appelé réservoir . Une fois que le signal d'entrée est introduit dans le réservoir, qui est traité comme une « boîte noire », un simple mécanisme de lecture est entraîné pour lire l'état du réservoir et le mapper à la sortie souhaitée.
Réseau de neurones à impulsionsLes réseaux de neurones à impulsions (SNNs : Spiking Neural Networks, en anglais) sont un raffinement des réseaux de neurones artificiels (ANNs : Artificial Neural Networks, en anglais) où l’échange entre neurones repose sur l’intégration des impulsions et la redescente de l’activation, à l’instar des neurones naturels. L’encodage est donc temporel et binaire. Le caractère binaire pose une difficulté de continuité au sens mathématique (cela empêche notamment l’utilisation des techniques de rétropropagation des coefficients - telle que la descente de gradient - utilisées classiquement dans les méthodes d'apprentissage).
Système nerveux autonomeLe système nerveux autonome aussi appelé système nerveux végétatif est la partie du système nerveux périphérique responsable des fonctions non soumises au contrôle volontaire. Il contrôle notamment les muscles lisses (digestion, vascularisation...), les muscles cardiaques, la majorité des glandes exocrines (digestion, sudation...) et certaines glandes endocrines. Le système nerveux autonome contient des neurones périphériques mais aussi centraux.
Système nerveux parasympathiqueLe système nerveux parasympathique ou système vagal ou encore appelé parasympathique est une des trois divisions du système nerveux autonome (SNA) ou viscéral, avec le système nerveux orthosympathique et le système nerveux entérique. Le SNA régule les fonctions corporelles qui ne sont pas sous le contrôle volontaire de l'individu. Le parasympathique, quant à lui, travaille en opposition au système nerveux (ortho)sympathique. Ce dernier activant le corps en réponse à des stimuli stressants.
Système nerveux somatiqueLe système nerveux somatique est la partie du système nerveux périphérique qui commande les mouvements et la position du corps et permet de percevoir par la peau diverses sensations (toucher, chaleur, douleur) et de découvrir par les autres organes des sens le milieu environnant (vision, audition, olfaction). Il est constitué de neurones sensitifs et de neurones moteurs.
Système nerveux périphériquethumb|upright=1.3|Schéma du système nerveux avec le système nerveux périphérique en bleu et le système nerveux central en rouge. Le système nerveux périphérique (SNP) est la partie du système nerveux formée des ganglions et des nerfs à l'extérieur du cerveau et de la moelle épinière. Sa fonction principale est de faire circuler l'information entre les organes et le système nerveux central (SNC). À l'inverse du SNC, le SNP n'est pas protégé par les os du crane et de la colonne ; il n'est pas non plus recouvert par la barrière hémato-encéphalique qui assure l'isolation du SNC.
Réseau neuronal résidueldroite|vignette| Forme canonique d'un réseau neuronal résiduel. Une couche l − 1 est ignoré sur l'activation de l − 2. Un réseau neuronal résiduel ( ResNet ) est un réseau neuronal artificiel (ANN). Il s'agit d'une variante du HighwayNet , le premier réseau neuronal à action directe très profond avec des centaines de couches, beaucoup plus profond que les réseaux neuronaux précédents. Les sauts de connexion ou "raccourcis" sont utilisés pour passer par-dessus certaines couches ( les HighwayNets peuvent également avoir des poids pour les saut eux-mêmes, grâce à une matrice de poids supplémentaire pour leurs portes).
Vanishing gradient problemIn machine learning, the vanishing gradient problem is encountered when training artificial neural networks with gradient-based learning methods and backpropagation. In such methods, during each iteration of training each of the neural networks weights receives an update proportional to the partial derivative of the error function with respect to the current weight. The problem is that in some cases, the gradient will be vanishingly small, effectively preventing the weight from changing its value.
