Réseau de neurones de Hopfield

Le réseau de neurones d'Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul neurone est mis à jour à chaque unité de temps). Il a été popularisé par le physicien John Hopfield en 1982. Sa découverte a permis de relancer l'intérêt dans les réseaux de neurones qui s'était essoufflé durant les années 1970 à la suite d'un article de Marvin Minsky et Seymour Papert. Les réseaux de Hopfield rentrent dans le cadre des modèles à base d'énergie. Un réseau de Hopfield est une mémoire adressable par son contenu : une forme mémorisée est retrouvée par une stabilisation du réseau, s'il a été stimulé par une partie adéquate de cette forme. Ce modèle de réseau est constitué de N neurones à états binaires (-1, 1 ou 0, 1 suivant les versions) tous interconnectés. L'entrée totale d'un neurone i est donc : où : est le poids de la connexion du neurone i au neurone j ; est l'état du neurone j. L'état du réseau peut être caractérisé par un mot de N bits correspondant à l'état de chaque neurone. Le fonctionnement du réseau est séquencé par une horloge. On notera : ou l'état du neurone i à l'instant t ; l'état du neurone i à l'instant t + dt où dt désigne l'intervalle de temps entre 2 tops d'horloge. Il existe plusieurs alternatives assez équivalentes pour la mise à jour de l'état des neurones : le mode stochastique original de Hopfield où chaque neurone modifie son état à un instant aléatoire selon une fréquence moyenne égale pour tous les neurones. Plus simplement on peut considérer qu'à chaque top d'horloge, on tire au hasard un neurone afin de le mettre à jour ; un mode synchrone où tous les neurones sont mis à jour simultanément ; un mode séquentiel où les neurones sont mis à jour selon un ordre défini. Le calcul du nouvel état du neurone i se fait ainsi : L'apprentissage dans un réseau d'Hopfield consiste à faire en sorte que chacun des prototypes à mémoriser soit : un état stable du réseau ; un état attracteur permettant de le retrouver à partir d'états légèrement différents.