Mots-clés : Lexical Level Overview

Cette séance de cours explore les concepts fondamentaux des mots, des jetons et des modèles de langage dans le traitement du langage naturel (PNL). Il commence par discuter des défis dans la définition des mots et des jetons, en soulignant l'importance du contexte. La séance de cours explore la distinction entre les mots et les jetons, le rôle des lexiques dans les systèmes de PNL et l'utilisation de n-grammes pour la modélisation du langage. Il couvre la mise en œuvre de la lexica, les méthodes d'accès et l'importance des formes de surface. En outre, il explique lestimation des probabilités dans les modèles de langage, y compris les techniques de lissage additives. La séance de cours se termine en soulignant les points clés liés à l'utilisation de la lexica, aux défis de la tokenisation, à l'efficacité des n-grammes et aux méthodes de lissage.