Interprétation de l'entropie

Cette séance de cours se penche sur l'interprétation de l'entropie, en se concentrant sur le concept d'entropie exprimée en bits et sa relation avec les distributions de probabilité. En commençant par les bases de la normalisation et du calcul de l'entropie, l'instructeur explique comment l'entropie est liée au gain et à la perte d'informations dans des scénarios tels que les retournements de pièces et les lancers de dés. La séance de cours explore en outre la quantification du caractère aléatoire, de l'information et de la dépendance statistique entre les variables aléatoires. Il se termine par une discussion sur l'entropie des différentes distributions de probabilité et les défis dans l'estimation des probabilités à partir de données expérimentales.