Modèles de langage classique: fondements et applications

Cette séance de cours fournit une introduction aux modèles de langage classiques, en se concentrant sur leurs concepts fondamentaux et leurs applications. Il commence par un aperçu des modèles de langage, expliquant leur rôle dans la prédiction des séquences de jetons et leur importance dans diverses applications telles que la traduction automatique, la génération de texte et la reconnaissance vocale. Linstructeur discute des modèles de langage basés sur le nombre, en mettant laccent sur la méthode destimation du maximum de vraisemblance (MLE) pour estimer les probabilités basées sur les occurrences de jetons dans un corpus. La séance de cours couvre également lhypothèse de Markov et introduit des modèles de n-gramme, détaillant comment ils simplifient la modélisation des séquences en considérant uniquement les jetons récents. L'évaluation des modèles linguistiques est abordée, en soulignant des mesures comme la perplexité et l'importance d'attribuer des probabilités plus élevées à des phrases grammaticalement correctes. La discussion comprend les défis de la parcimonie dans les modèles de langage et la nécessité de techniques de lissage pour gérer les séquences invisibles. Dans l’ensemble, la séance de cours résume le contexte historique et l’évolution des modèles linguistiques, ouvrant la voie à des sujets plus avancés lors des sessions suivantes.