Auto-encodeur

Un auto-encodeur (autoencodeur), ou auto-associateur est un réseau de neurones artificiels utilisé pour l'apprentissage non supervisé de caractéristiques discriminantes. L'objectif d'un auto-encodeur est d'apprendre une représentation (encodage) d'un ensemble de données, généralement dans le but de réduire la dimension de cet ensemble. Récemment, le concept d'auto-encodeur est devenu plus largement utilisé pour l'apprentissage de modèles génératifs. L'auto-encodeur a d'abord été proposé comme une généralisation non linéaire de l'analyse en composantes principales (ACP) par Kramer. L'auto-encodeur a également été appelé l'auto-associateur, ou réseau Diabolo. Ses premières applications datent du début des années 1990. Leur application la plus traditionnelle était réduction de la dimensionnalité ou apprentissage de représentations, mais le concept est devenu largement utilisé pour apprentissage de modèle génératifs de données. Certaines des IA les plus puissantes des années 2010 impliquaient des auto-encodeurs empilés à l'intérieur de réseaux de neurones profond. La forme la plus simple d'un auto-encodeur est un réseau de neurones non récurrents qui se propage vers l'avant, très semblable au perceptron multicouches. L'auto-encodeur a une couche d'entrée , une couche de sortie ainsi qu'une ou plusieurs couches cachées les reliant. Toutefois la couche de sortie possède le même nombre de nœuds que la couche d'entrée ; autrement dit et ont le même nombre de dimensions. Le code (aussi appelé variables latentes ou représentation latente) est la couche cachée la plus interne. Elle représente mais dans un espace avec moins de dimensions. L'objectif de l'auto-encodeur est de reconstruire ses entrées : prédire une valeur cible la plus proche des entrées (plutôt que de prédire une valeur cible étant donné les entrées ). Par conséquent, un auto-encodeur est un modèle d'apprentissage non supervisé. Plus formellement, un auto-encodeur se compose toujours de deux parties, lencodeur et le décodeur, qui peuvent être définies comme des transitions et , telles que : où est l'espace où sont et , et où est l'espace où est le code .