Discute de l'entropie, de la compression des données et des techniques de codage Huffman, en mettant l'accent sur leurs applications pour optimiser les longueurs de mots de code et comprendre l'entropie conditionnelle.
Explore l'information mutuelle, quantifiant les relations entre les variables aléatoires et mesurant le gain d'information et la dépendance statistique.
Couvre les mesures d'information telles que l'entropie, la divergence Kullback-Leibler et l'inégalité de traitement des données, ainsi que les noyaux de probabilité et les informations mutuelles.
Explore un modèle de Markov de premier ordre à laide dun exemple de source ensoleillée-pluie, démontrant comment les événements passés influencent les résultats futurs.
Introduit des variables aléatoires et leur signification dans la théorie de l'information, couvrant des concepts tels que la valeur attendue et l'entropie de Shannon.
