Couvre les mesures d'information telles que l'entropie, la divergence Kullback-Leibler et l'inégalité de traitement des données, ainsi que les noyaux de probabilité et les informations mutuelles.
Explore la compression sans perte à l'aide d'algorithmes Shannon-Fano et Huffman, montrant l'efficacité et la vitesse supérieures de Huffman sur Shannon-Fano.
Explore l'information mutuelle, quantifiant les relations entre les variables aléatoires et mesurant le gain d'information et la dépendance statistique.
Explore le problème des 20 questions, les codes Huffman et les stratégies optimales d'interrogation dans les algorithmes, démontrant des résultats efficaces grâce à des codes ternaires et sans préfixe.
