Réseaux de neurones pour l'apprentissage par l'action: règles à trois facteurs et dopamine

Description

Cette séance de cours couvre la mise en œuvre de règles à trois facteurs dans le cerveau pour l’apprentissage par renforcement, en se concentrant sur le rôle de la dopamine en tant que «troisième facteur». Il discute de la façon dont les réseaux neuronaux apprennent par récompense, du concept de structures acteur-critique dans le cerveau et de l’impact de la plasticité synaptique sur la force de connexion. La séance de cours explore également l'influence des neuromodulateurs comme la dopamine comme troisième facteur de changements synaptiques, en mettant l'accent sur le signal global qu'il fournit pour toutes les synapses. En outre, il explore le rôle de la dopamine dans la diffusion des signaux de récompense et la prédiction des récompenses attendues, soulignant son importance dans le processus d’apprentissage.

Connectez-vous pour regarder la vidéo

Source officielle

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

La plasticité synaptique, en neurosciences, désigne la capacité des synapses à moduler, à la suite d'un événement particulier - une augmentation ou une diminution ponctuelle et significative de leur activité - l'efficacité de la transmission du signal électrique d'un neurone à l'autre et à conserver, à plus ou moins long terme, une "trace" de cette modulation. De manière schématique, l'efficacité de la transmission synaptique, voire la synapse elle-même, est maintenue et modulée par l'usage qui en est fait.

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Le mot neuromodulation a un sens différent en neuroscience et en médecine. Dans ce domaine, la neuromodulation est le processus par lequel plusieurs classes de neurotransmetteurs du système nerveux régulent plusieurs populations de neurones. À l'opposé de la transmission synaptique, dans laquelle un neurone présynaptique influence directement un pair postsynaptique, les transmetteurs neuromodulateurs sécrétés par un groupe restreint de neurones se diffusent à travers le système nerveux, ayant un impact sur de multiples neurones.

A neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.

La (en Spike-timing-dependent plasticity, STDP) est un processus de modification du poids des synapses. Cette modification dépend du moment de déclenchement du potentiel d'action dans les neurones pré- et post-synaptique. Ce processus permettrait d'expliquer partiellement le développement cérébral et la mémorisation, en provoquant potentialisation à long terme (en Long-term potentiation, LTP) et dépression à long terme (en Long-term depression, LTD) des synapses.