Machine de Boltzmann restreinte

En apprentissage automatique, la machine de Boltzmann restreinte est un type de réseau de neurones artificiels pour l'apprentissage non supervisé. Elle est couramment utilisée pour avoir une estimation de la distribution probabiliste d'un jeu de données. Elle a initialement été inventée sous le nom de Harmonium en 1986 par Paul Smolenski. Les machine de Boltzmann restreinte rentre dans le cadre des modèles graphiques et des modèles à base d'énergie. Dans sa forme la plus simple, une machine de Boltzmann est composée d'une couche de neurones qui reçoit l'entrée, ainsi que d'une couche de neurones cachée. Si on suppose que les neurones d'une même couche sont indépendants entre eux, on appelle cette configuration une machine de Boltzmann restreinte (RBM). vignette|Machine de Boltzmann Restreinte On définit l'énergie pour une configuration de donnée de la manière suivante : Avec: est le poids entre le neurone et le neurone ; est l'état, , du neurone visible ; est l'état du neurone caché ; et sont respectivement les biais des neurones et . La probabilité conjointe d'avoir une configuration est alors donnée par Avec : la fonction d'énergie définie ci-dessus ; une constante de normalisation, qui fait en sorte que la somme de toutes les probabilités fasse 1. La machine de Boltzmann s’entraîne à l'aide d'un apprentissage non supervisé. On cherche à minimiser la log-vraisemblance. La dérivée de la log-vraisemblance donne l'expression suivante: Avec: les variables du système (les poids ou le biais) ; l'espérance mathématique sur les variables aléatoires et ; une valeur du jeu de données ; l'énergie définie ci-dessus. On remarque la présence de deux termes dans cette expression, appelés phase positive et phase négative. La phase positive se calcule aisément pour le biais et pour la matrice des poids. On obtient alors: Avec h(x) l'état de la couche cachée sachant x donnée par la formule La partie la plus compliquée est de calculer ce qu'on appelle la phase négative. On ne peut pas la calculer directement car on ne connaît pas la constante de normalisation du système.