L'adhésion des mots : modèles et apprentissage

Cette séance de cours couvre les concepts d'intégration de mots, y compris les modèles d'intégration de mots et le processus d'apprentissage en cause. Il explique comment les documents sont cartographiés en vecteurs à terme et en vecteurs denses, et comment les sujets sont répartis en termes. L'instructeur discute de l'importance du contexte dans la détermination du sens des mots et du processus d'établissement des probabilités à partir des représentations des mots. La séance de cours se penche également sur les propriétés de l'intégration et l'algorithme d'apprentissage utilisé pour créer de nouvelles représentations. Il se termine par une explication détaillée des paramètres d'apprentissage et la maximisation des probabilités globales dans le contexte de l'intégration des mots.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (453)

Concepts associés (104)

CS-423: Distributed information systems

This course introduces the foundations of information retrieval, data mining and knowledge bases, which constitute the foundations of today's Web-based distributed information systems.

Plongement lexical

Le plongement lexical (« word embedding » en anglais) est une méthode d'apprentissage d'une représentation de mots utilisée notamment en traitement automatique des langues. Le terme devrait plutôt être rendu par vectorisation de mots pour correspondre plus proprement à cette méthode. Cette technique permet de représenter chaque mot d'un dictionnaire par un vecteur de nombres réels. Cette nouvelle représentation a ceci de particulier que les mots apparaissant dans des contextes similaires possèdent des vecteurs correspondants qui sont relativement proches.

Modèle de langage

En traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.

Similarité sémantique

La similarité sémantique est une notion définie entre deux concepts soit au sein d'une même hiérarchie conceptuelle, soit - dans le cas d'alignement d'ontologies - entre deux concepts appartenant respectivement à deux hiérarchies conceptuelles distinctes. La similarité sémantique indique que ces deux concepts possèdent un grand nombre d'éléments en commun (propriétés, termes, instances). D’un point de vue psychologie cognitive, les notions de proximité et de similarité sont bien distinctes.

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Analyse sémantique latente probabiliste

L’analyse sémantique latente probabiliste (de l'anglais, Probabilistic latent semantic analysis : PLSA), aussi appelée indexation sémantique latente probabiliste (PLSI), est une méthode de traitement automatique des langues inspirée de l'analyse sémantique latente. Elle améliore cette dernière en incluant un modèle statistique particulier. La PLSA possède des applications dans le filtrage et la recherche d'information, le traitement des langues naturelles, l'apprentissage automatique et les domaines associés.

Modèles d'intégration de mots : Optimisation et applications CS-423: Distributed information systems

Explore l'optimisation des modèles d'intégration de mots, y compris la minimisation de la fonction de perte et la descente de gradient, et introduit des techniques comme Fasttext et Byte Pair Encoding.

Modèles Vision-Langue-Action : Formation et applications

Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.

Modèles de langage: De la théorie à l'informatique EE-556: Mathematics of data: from theory to computation

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Génération de nombres aléatoires quantiques PHYS-758: Advanced Course on Quantum Communication

Explore la génération de nombres quantiques aléatoires, en discutant des défis et des implémentations de générer une bonne randomité à l'aide de dispositifs quantiques.

Estimation de l'intervalle: Méthode des moments MATH-232: Probability and statistics

Couvre la méthode des moments pour estimer les paramètres et construire des intervalles de confiance basés sur des moments empiriques correspondant à des moments de distribution.