Modèles génériques : auto-attention et transformateurs

Dans cours

Description

Cette séance de cours couvre des modèles génératifs axés sur l'auto-attention et les transformateurs. Les sujets abordés incluent les auto-encodeurs, les machines Boltzmann, l'entraînement masqué, les mécanismes d'attention et le principe d'entropie maximale. Les diapositives discutent en détail des méthodes d'échantillonnage, des moyens empiriques et des corrélations.

Enseignant

Source officielle

https://mediaspace.epfl.ch/media/0_gepvw60c

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (1 000)

Concepts associés (231)

Simple random sample

In statistics, a simple random sample (or SRS) is a subset of individuals (a sample) chosen from a larger set (a population) in which a subset of individuals are chosen randomly, all with the same probability. It is a process of selecting a sample in a random way. In SRS, each subset of k individuals has the same probability of being chosen for the sample as any other subset of k individuals. A simple random sample is an unbiased sampling technique. Simple random sampling is a basic type of sampling and can be a component of other more complex sampling methods.

Régression linéaire

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.

Échantillon biaisé

En statistiques, le mot biais a un sens précis qui n'est pas tout à fait le sens habituel du mot. Un échantillon biaisé est un ensemble d'individus d'une population, censé la représenter, mais dont la sélection des individus a introduit un biais qui ne permet alors plus de conclure directement pour l'ensemble de la population. Un échantillon biaisé n'est donc pas un échantillon de personnes biaisées (bien que ça puisse être le cas) mais avant tout un échantillon sélectionné de façon biaisée.

Matrice diagonale

En algèbre linéaire, une matrice diagonale est une matrice carrée dont les coefficients en dehors de la diagonale principale sont nuls. Les coefficients de la diagonale peuvent être ou ne pas être nuls. Une matrice diagonale est une matrice qui correspond à la représentation d'un endomorphisme diagonalisable dans une base de vecteurs propres. La matrice d'un endomorphisme diagonalisable est semblable à une matrice diagonale. Toute matrice diagonale est symétrique, normale et triangulaire.

Régression (statistiques)

En mathématiques, la régression recouvre plusieurs méthodes d’analyse statistique permettant d’approcher une variable à partir d’autres qui lui sont corrélées. Par extension, le terme est aussi utilisé pour certaines méthodes d’ajustement de courbe. En apprentissage automatique, on distingue les problèmes de régression des problèmes de classification. Ainsi, on considère que les problèmes de prédiction d'une variable quantitative sont des problèmes de régression tandis que les problèmes de prédiction d'une variable qualitative sont des problèmes de classification.