Entropie et compression I

Cette séance de cours couvre la théorie de l'entropie, y compris la démonstration liée supérieure et deux quiz. Il explore les propriétés de l'entropie, comme la relation entre la probabilité et l'entropie, le concept d'ordre total, et la concavité. La séance de cours se transforme en compression sans perte, expliquant comment la compression des données réduit l'espace de stockage et le temps de transmission en éliminant la redondance. Il introduit des algorithmes comme Shannon-Fano, démontrant comment assigner des séquences bit aux lettres en fonction du nombre de questions nécessaires pour les deviner. La séance de cours conclut en discutant de la performance de l'algorithme Shannon-Fano dans la réduction du nombre de bits nécessaires pour représenter un message, montrant son efficacité dans la compression des données.