Le théorème de Shannon

Cette séance de cours couvre les bases des codes binaires, y compris les définitions, les exemples, et le concept de codes binaires sans préfixe. Il introduit ensuite le Théorème de Shannon, indiquant que pour tout code binaire sans préfixe utilisé pour représenter une séquence donnée, l'entropie de la séquence est toujours inférieure ou égale à la longueur moyenne du code. La séance de cours explique également l'inégalité de Kraft et fournit une démonstration détaillée du théorème de Shannon, montrant la relation entre l'entropie et la longueur du code. D'autres inégalités liées à l'entropie et à la longueur du code sont discutées, soulignant les limites de la compression des données sans perte.