Entropie et compression I

Cette séance de cours couvre la définition de l'entropie, les valeurs minimales et maximales, et le codage. Il explique les propriétés de l'entropie, le concept de concavité, et l'inégalité du Jensen. La séance de cours traite également de la compression sans perte, fournissant des exemples d'algorithmes comme le langage SMS et le code Morse. L'algorithme Shannon-Fano est introduit, démontrant comment il peut être utilisé pour compresser les données efficacement. La performance de l'algorithme Shannon-Fano est analysée, montrant une réduction significative du nombre de bits requis pour la représentation. La séance de cours conclut en soulignant l'importance de l'entropie dans la mesure de la quantité d'information et prévoit des sujets à venir sur le codage des algorithmes et l'analyse des performances.