Apprentissage auto-superviséL'apprentissage auto-supervisé ("self-supervised learning" en anglais) (SSL) est une méthode d'apprentissage automatique. Il apprend à partir d'échantillons de données non étiquetés. Il peut être considéré comme une forme intermédiaire entre l'apprentissage supervisé et non supervisé. Il est basé sur un réseau de neurones artificiels. Le réseau de neurones apprend en deux étapes. Tout d'abord, la tâche est résolue sur la base de pseudo-étiquettes qui aident à initialiser les poids du réseau.
Graph neural networkA graph neural network (GNN) is a class of artificial neural networks for processing data that can be represented as graphs. In the more general subject of "geometric deep learning", certain existing neural network architectures can be interpreted as GNNs operating on suitably defined graphs. Convolutional neural networks, in the context of computer vision, can be seen as a GNN applied to graphs structured as grids of pixels. Transformers, in the context of natural language processing, can be seen as GNNs applied to complete graphs whose nodes are words in a sentence.
Vision transformerA Vision Transformer (ViT) is a transformer that is targeted at vision processing tasks such as . Transformers found their initial applications in natural language processing (NLP) tasks, as demonstrated by language models such as BERT and GPT-3. By contrast the typical image processing system uses a convolutional neural network (CNN). Well-known projects include Xception, ResNet, EfficientNet, DenseNet, and Inception. Transformers measure the relationships between pairs of input tokens (words in the case of text strings), termed attention.
Auto-encodeurUn auto-encodeur (autoencodeur), ou auto-associateur est un réseau de neurones artificiels utilisé pour l'apprentissage non supervisé de caractéristiques discriminantes. L'objectif d'un auto-encodeur est d'apprendre une représentation (encodage) d'un ensemble de données, généralement dans le but de réduire la dimension de cet ensemble. Récemment, le concept d'auto-encodeur est devenu plus largement utilisé pour l'apprentissage de modèles génératifs.
Programme d'échecsvignette|Jeu d'échecs électronique des années 1990 avec écran LCD. Un programme d'échecs est un programme informatique conçu pour jouer au jeu d'échecs. L'histoire des machines joueuses d'échecs n'attend pas le développement de l'électronique et de l'informatique : la première fut l'automate turc inventée en 1769 par Johan Wolfgang von Kempelen, qui joua notamment contre l'impératrice Catherine II et Napoléon Bonaparte. C'était en fait un homme de petite taille caché dans la machine.
Mirror descentIn mathematics, mirror descent is an iterative optimization algorithm for finding a local minimum of a differentiable function. It generalizes algorithms such as gradient descent and multiplicative weights. Mirror descent was originally proposed by Nemirovski and Yudin in 1983. In gradient descent with the sequence of learning rates applied to a differentiable function , one starts with a guess for a local minimum of , and considers the sequence such that This can be reformulated by noting that In other words, minimizes the first-order approximation to at with added proximity term .
Classement EloLe classement Elo est un système d’évaluation comparatif du niveau de jeu des joueurs d’échecs, de go ou d’autres jeux. Ce système est également utilisé pour le classement des équipes de football (depuis , mais de manière non officielle), ainsi que par de nombreux jeux en ligne. Tout joueur qui participe à ce type de compétition se voit attribuer un classement provisoire, classement qui évoluera en fonction de ses performances, et qui reflète sa probabilité de gagner.
Wasserstein GANThe Wasserstein Generative Adversarial Network (WGAN) is a variant of generative adversarial network (GAN) proposed in 2017 that aims to "improve the stability of learning, get rid of problems like mode collapse, and provide meaningful learning curves useful for debugging and hyperparameter searches". Compared with the original GAN discriminator, the Wasserstein GAN discriminator provides a better learning signal to the generator. This allows the training to be more stable when generator is learning distributions in very high dimensional spaces.
Hugging FaceHugging Face est une start-up franco-américaine développant des outils pour utiliser l'apprentissage automatique. Elle propose notamment une bibliothèque de transformateurs conçue pour les applications de traitement automatique des langues, et une plate-forme permettant le partage des modèles et des ensembles de données nécessaires à l'apprentissage automatique. La société a été fondée en 2016 par les entrepreneurs français Clément Delangue, Julien Chaumond et Thomas Wolf, initialement pour développer une application de chatbot destinée aux adolescents.
Diffusion modelIn machine learning, diffusion models, also known as diffusion probabilistic models or score-based generative models, are a class of latent variable models. They are Markov chains trained using variational inference. The goal of diffusion models is to learn the latent structure of a dataset by modeling the way in which data points diffuse through the latent space. In computer vision, this means that a neural network is trained to denoise images blurred with Gaussian noise by learning to reverse the diffusion process.
