Entropie conditionnelle: Codage Huffman

Cette séance de cours de l'instructeur couvre le concept d'entropie conditionnelle, en mettant l'accent sur le codage Huffman pour une compression efficace des données. En commençant par l'observation des arbres ternaires, la séance de cours progresse pour discuter de l'entropie commune, des codes Shannon-Fano, et de la compression des longues cordes à l'aide des codes Huffman. L'instructeur explique comment calculer l'entropie conditionnelle et l'attente conditionnelle, en utilisant des exemples comme le 'Bit Flipper Channel'. La séance de cours se termine par une discussion sur le comportement de la longueur des mots de code à mesure que le nombre de symboles augmente et la complexité de trouver des stratégies de codage optimales. Les élèves apprendront des techniques efficaces de compression des données et des compromis liés aux stratégies de codage.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (29)

Concepts associés (87)

COM-102: Advanced information, computation, communication II

Text, sound, and images are examples of information sources stored in our computers and/or communicated over the Internet. How do we measure, compress, and protect the informatin they contain?

Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire , lorsque l'on connait exactement une variable aléatoire . On note l'entropie conditionnelle de sachant . On dit aussi parfois entropie de conditionnée par . Comme les autres entropies, elle se mesure généralement en bits. On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe.

Entropie conjointe

vignette|Entropie conjointe. En théorie de l'information, l'entropie conjointe est une mesure d'entropie utilisée en théorie de l'information, qui mesure la quantité d'information contenue dans un système de deux variables aléatoires (ou plus de deux). Comme les autres entropies, l'entropie conjointe est mesurée en bits ou en nats, selon la base du logarithme utilisée. Si chaque paire d'états possibles des variables aléatoires ont une probabilité alors l'entropie conjointe de et est définie par : où est la fonction logarithme en base 2.

Compression de données

La compression de données ou codage de source est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression. C'est une opération de codage qui raccourcit la taille (de transmission, de stockage) des données au prix d'un travail de compression. Celle-ci est l'opération inverse de la décompression.

Codage de Huffman

Le codage de Huffman est un algorithme de compression de données sans perte. Le codage de Huffman utilise un code à longueur variable pour représenter un symbole de la source (par exemple un caractère dans un fichier). Le code est déterminé à partir d'une estimation des probabilités d'apparition des symboles de source, un code court étant associé aux symboles de source les plus fréquents. Un code de Huffman est optimal au sens de la plus courte longueur pour un codage par symbole, et une distribution de probabilité connue.

Lossy compression

In information technology, lossy compression or irreversible compression is the class of data compression methods that uses inexact approximations and partial data discarding to represent the content. These techniques are used to reduce data size for storing, handling, and transmitting content. The different versions of the photo of the cat on this page show how higher degrees of approximation create coarser images as more details are removed. This is opposed to lossless data compression (reversible data compression) which does not degrade the data.

Modèles graphiques : Représentation des distributions probabilistes PHYS-512: Statistical physics of computation

Couvre les modèles graphiques pour les distributions probabilistes à l'aide de graphiques, de nœuds et de bords.

Probabilités avancées : Variables aléatoires et valeurs attendues CS-101: Advanced information, computation, communication I

Explore les probabilités avancées, les variables aléatoires et les valeurs attendues, avec des exemples pratiques et des quiz pour renforcer l'apprentissage.

Probabilité et statistiques MATH-232: Probability and statistics

Couvre p-quantile, approximation normale, distributions articulaires et familles exponentielles en probabilité et en statistiques.

Probabilité et statistiques MATH-232: Probability and statistics

Couvre les concepts fondamentaux des probabilités et des statistiques, y compris les distributions, les propriétés et les attentes des variables aléatoires.

Variables aléatoires et valeur prévue CS-101: Advanced information, computation, communication I

Introduit des variables aléatoires, des distributions de probabilité et des valeurs attendues au moyen d'exemples pratiques.