Interprétation de la compression des données et de l'entropie

Cette séance de cours couvre les origines de l'entropie en physique par Boltzmann et son interprétation comme mesure du désordre dans un système physique. Il s'inscrit également dans la théorie de l'information de Shannon, expliquant comment l'entropie quantifie la quantité d'information dans un signal. La séance de cours explore les définitions générales de l'entropie, en soulignant le rôle des probabilités dans le calcul de l'entropie et la complexité de la détermination de l'entropie pour les séquences réelles. Le concept d'entropie est illustré par des exemples, soulignant comment le nombre de différentes lettres dans une séquence se rapporte au désordre, à la nouveauté et au contenu d'information. De plus, la séance de cours discute de la façon dont la présence de lettres similaires réduit le désordre, conduisant à la redondance et à moins d'information dans le message.