Théorie de l'information : examen et information mutuelle

Cette séance de cours couvre un examen des mesures d'information, en mettant l'accent sur l'entropie et l'information mutuelle. Il commence par expliquer comment modéliser linformation en utilisant des outils de la théorie des probabilités. Ensuite, il explore l'expression des limites fondamentales en utilisant des mesures d'information en tant que fonctions de distributions de probabilité, avec des exemples comme la compression sans perte. La séance de cours se penche sur le concept d'entropie, discutant du nombre de bits nécessaires pour représenter une variable aléatoire discrète et de sa limite inférieure par entropie. Enfin, il introduit linformation mutuelle, la définissant comme la mesure de la quantité dinformations quune variable aléatoire contient sur une autre variable aléatoire.