Modèles de sujets probabilistes : Latent Dirichlet Allocation

Cette séance de cours couvre des modèles de sujets probabilistes, en se concentrant sur l'allocation de Dirichlet latente (LDA). Il explique comment LDA modélise des sujets en tant que distributions sur des mots, les documents étant des mélanges de ces sujets. L'instructeur discute des inconvénients de l'indexation sémantique latente probabiliste (PLSI) et introduit LDA comme solution. La séance de cours se penche sur la distribution de Dirichlet, qui est utilisée pour modéliser la distribution des distributions dans LDA. Il explore également l'application de LDA dans le regroupement de documents et ses méthodes d'inférence, telles que MCMC et l'inférence bayésienne variationnelle. Des exemples du corpus TREC-AP sont fournis pour illustrer l'efficacité de LDA dans le regroupement de documents logiciels. La séance de cours se termine en discutant des variantes de LDA, des extensions et de lidée générale de modèles de sujets dans lanalyse de documents.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (28)

Concepts associés (41)

COM-308: Internet analytics

Internet analytics is the collection, modeling, and analysis of user data in large-scale online services, such as social networking, e-commerce, search, and advertisement. This class explores a number

Allocation de Dirichlet latente

Dans le domaine du traitement automatique des langues, l’allocation de Dirichlet latente (de l’anglais Latent Dirichlet Allocation) ou LDA est un modèle génératif probabiliste permettant d’expliquer des ensembles d’observations, par le moyen de groupes non observés, eux-mêmes définis par des similarités de données. Par exemple, si les observations () sont les mots collectés dans un ensemble de documents textuels (), le modèle LDA suppose que chaque document () est un mélange () d’un petit nombre de sujets ou thèmes ( topics), et que la génération de chaque occurrence d’un mot () est attribuable (probabilité) à l’un des thèmes () du document.

Topic model

vignette|Visualisation du résumé d'un article scientifique traité par topic model. L'intensité de la couleur varie selon la probabilité d'appartenir au topic en question. En apprentissage automatique et en traitement automatique du langage naturel, un topic model (modèle thématique ou « modèle de sujet ») est un modèle probabiliste permettant de déterminer des sujets ou thèmes abstraits dans un document. Analyse sémantique latente (LSA) Allocation de Dirichlet latente (LDA) Analyse sémantique latente probab

Dirichlet-multinomial distribution

In probability theory and statistics, the Dirichlet-multinomial distribution is a family of discrete multivariate probability distributions on a finite support of non-negative integers. It is also called the Dirichlet compound multinomial distribution (DCM) or multivariate Pólya distribution (after George Pólya). It is a compound probability distribution, where a probability vector p is drawn from a Dirichlet distribution with parameter vector , and an observation drawn from a multinomial distribution with probability vector p and number of trials n.

Loi de Dirichlet

thumb|right|250px|Plusieurs images de la densité de la loi de Dirichlet lorsque K=3 pour différents vecteurs de paramètres α. Dans le sens horaire à partir du coin supérieur gauche : α=(6, 2, 2), (3, 7, 5), (6, 2, 6), (2, 3, 4). En probabilité et statistiques, la loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales. Cette loi (ou encore distribution) est paramétrée par le vecteur α de nombres réels positifs et tire son nom de Johann Peter Gustav Lejeune Dirichlet.

Analyse sémantique latente probabiliste

L’analyse sémantique latente probabiliste (de l'anglais, Probabilistic latent semantic analysis : PLSA), aussi appelée indexation sémantique latente probabiliste (PLSI), est une méthode de traitement automatique des langues inspirée de l'analyse sémantique latente. Elle améliore cette dernière en incluant un modèle statistique particulier. La PLSA possède des applications dans le filtrage et la recherche d'information, le traitement des langues naturelles, l'apprentissage automatique et les domaines associés.

Modèles thématiques DH-406: Machine learning for DH

Introduit des modèles thématiques, couvrant le clustering, le GMM, le LDA, la distribution de Dirichlet et l'inférence variationnelle.

Modèles du sujet: Allocation de dirichlet latent DH-406: Machine learning for DH

Présente l'attribution des dirichlets latents pour la modélisation des sujets dans les documents, en discutant de son processus, de ses demandes et de ses limites.

Modèles du sujet: Comprendre les structures latentes DH-406: Machine learning for DH

Explore les modèles thématiques, les modèles de mélange gaussien, la répartition des dirichlets latents et l'inférence variationnelle dans la compréhension des structures latentes à l'intérieur des données.

Modèles du sujet: Allocation de dirichlet latent DH-406: Machine learning for DH

Couvre des modèles thématiques, en se concentrant sur l'allocation de Dirichlet latente, le regroupement, les MGM, la distribution de Dirichlet, l'apprentissage LDA et les applications en humanités numériques.

Modèles de mélange gaussien : Classification des données COM-500: Statistical signal and data processing through applications

Explore les signaux de débruitage avec des modèles de mélange gaussien et l'algorithme EM, l'analyse de signal EMG et la segmentation d'image à l'aide de modèles markoviens.