Apprentissage de la représentation textuelle : Inscriptions de mots

Cette séance de cours couvre le concept fondamental de l'apprentissage de la représentation textuelle, en mettant l'accent sur l'intégration des mots. Il explique le processus d'apprentissage des représentations numériques pour les mots à l'aide de techniques comme la factorisation matricielle. La séance de cours s'inscrit dans la matrice de co-occurrence, le modèle GloVe et les représentations de mots d'apprentissage par la factorisation de la matrice. Il traite également des analogies de mots et des méthodes de formation impliquées dans l'apprentissage de l'intégration de mots. De plus, il explore l'utilisation de grands modèles comme les transformateurs pour prédire le mot suivant dans un texte. La séance de cours se termine par des indications sur les ressources sur word2vec, GloVe, FastText et send2vec.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (364)

Concepts associés (217)

CS-433: Machine learning

Machine learning methods are becoming increasingly central in many sciences and applications. In this course, fundamental principles and methods of machine learning will be introduced, analyzed and pr

ChatGPT

ChatGPT () est un prototype d'agent conversationnel utilisant l'intelligence artificielle, développé par OpenAI et spécialisé dans le dialogue. L'agent conversationnel de ChatGPT repose sur les technologies du traitement automatique des langues (NLP), des grands modèles de langage (LLM) et des chatbots. Il est issu du modèle de langage GPT d'OpenAI, et est affiné en continu grâce à l'utilisation de techniques d'apprentissage supervisé et d'apprentissage par renforcement.

Plongement lexical

Le plongement lexical (« word embedding » en anglais) est une méthode d'apprentissage d'une représentation de mots utilisée notamment en traitement automatique des langues. Le terme devrait plutôt être rendu par vectorisation de mots pour correspondre plus proprement à cette méthode. Cette technique permet de représenter chaque mot d'un dictionnaire par un vecteur de nombres réels. Cette nouvelle représentation a ceci de particulier que les mots apparaissant dans des contextes similaires possèdent des vecteurs correspondants qui sont relativement proches.

Apprentissage de représentations

En apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.

Word2vec

En intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (word embedding). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de . Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim. Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram.

Factorisation

En mathématiques, la factorisation consiste à écrire une expression algébrique (notamment une somme), un nombre, une matrice sous la forme d'un produit. Cette transformation peut se faire suivant différentes techniques détaillées ci-dessous. Les enjeux de la factorisation sont très divers : à un niveau élémentaire, le but peut être de ramener la résolution d'une équation à celle d'une équation produit-nul, ou la simplification d'une écriture fractionnaire ; à un niveau intermédiaire, la difficulté algorithmique présumée de la factorisation des nombres entiers en produit de facteurs premiers est à la base de la fiabilité du cryptosystème RSA.

Modèles génériques : auto-attention et transformateurs PHYS-467: Machine learning for physicists

Couvre les modèles générateurs en mettant l'accent sur l'auto-attention et les transformateurs, en discutant des méthodes d'échantillonnage et des moyens empiriques.

Analyse des documents : Modélisation des sujets DH-406: Machine learning for DH

Explore l'analyse documentaire, la modélisation thématique et les modèles génériques pour la production de données dans l'apprentissage automatique.

Modèles Vision-Langue-Action : Formation et applications

Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.

Fondements de l'apprentissage automatique DH-406: Machine learning for DH

Introduit des concepts fondamentaux d'apprentissage automatique, couvrant la régression, la classification, la réduction de dimensionnalité et des modèles générateurs profonds.

Modèles de langage: De la théorie à l'informatique EE-556: Mathematics of data: from theory to computation

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.