Redondance (théorie de l'information)

En théorie de l’information, la redondance correspond au nombre de bits nécessaires pour transmettre un message auquel on soustrait le nombre de bits correspondant aux informations réellement contenues dans ce même message. Officieusement, la redondance correspond à l’« espace » utilisé mais non occupé pour transmettre certaines données. La compression de données permet de réduire ou d’éliminer la redondance que l’utilisateur ne désire pas conserver, alors que les sommes de contrôle permettent d’ajouter une redondance souhaitée pour les besoins du code correcteur lorsque l’utilisateur communique sur un canal bruyant à capacité limitée. Dans la description de la redondance de données brutes, le taux d’entropie d’une source d’informations correspond à son entropie moyenne par symbole. Pour les sources dites sans mémoire, ce taux correspond simplement à l’entropie de chaque symbole, tandis que, dans la plupart des cas généraux d’un processus stochastique, il correspond à la limite, quand n tend vers l’infini, de l’entropie conjointe des premiers symboles n divisée par n. En théorie de l’information, on parle généralement de "taux" ou de l’"entropie" d’une langue. Cela s’applique, par exemple, lorsque la source d’informations est en prose anglaise. Le taux d’une source sans mémoire est simplement , étant donné que, par définition, il n’existe aucune interdépendance entre les messages successifs d’une source sans mémoire. Le taux absolu d’une langue ou d’une source correspond tout simplement au logarithme de la cardinalité de l’espace du message, ou de l’alphabet utilisé. (Cette formule est parfois nommée Entropie de Hartley.) Il correspond au taux maximal possible d’informations qui peuvent être transmises grâce à cet alphabet. (Le logarithme doit être ramené à une base appropriée pour l’unité de mesure utilisée.) Le taux absolu équivaut au taux réel si la source est sans mémoire et suit une loi uniforme discrète. La redondance absolue peut alors être définie comme étant la différence entre le taux et le taux absolu.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Publications associées (32)

Personnes associées (4)

Unités associées (5)

Concepts associés (12)

Cours associés (1)

Séances de cours associées (11)

Polarization-Adjusted Convolutional (PAC) Codes: Sequential Decoding vs List Decoding

Andreas Peter Burg, Mohammad Rowshan

In the Shannon lecture at the 2019 International Symposium on Information Theory (ISIT), Arikan proposed to employ a one-to-one convolutional transform as a pre-coding step before the polar transform. The resulting codes of this concatenation are called po ...

IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC2021

Cross-Packet Coding for Delay-Constrained Streaming Applications

Dario Floreano, Giuseppe Cocco

Delay-constrained streaming from a moving platform is of paramount importance for applications such as the remote control of drones, where a low-delay video stream is required in order to provide visual feedback to the pilot while providing high quality vi ...

2019

Video streaming from remotely controlled moving platforms such as drones have stringent constraints in terms of delay. In some applications such videos have to provide real-time visual feedback to the pilot with an acceptable distortion while satisfying hi ...

IEEE2019

Théorème du codage de source

Le théorème du codage de source (ou premier théorème de Shannon, ou encore théorème de codage sans bruit) est un théorème en théorie de l'information, énoncé par Claude Shannon en 1948, qui énonce la limite théorique pour la compression d'une source. Le théorème montre que l'on ne peut pas compresser une chaine de variables aléatoires i.i.d, quand la longueur de celle-ci tend vers l'infini, de telle sorte à ce que la longueur moyenne des codes des variables soit inférieure à l'entropie de la variable source.

Error correction code

In computing, telecommunication, information theory, and coding theory, forward error correction (FEC) or channel coding is a technique used for controlling errors in data transmission over unreliable or noisy communication channels. The central idea is that the sender encodes the message in a redundant way, most often by using an error correction code or error correcting code (ECC). The redundancy allows the receiver not only to detect errors that may occur anywhere in the message, but often to correct a limited number of errors.

Entropie conjointe

vignette|Entropie conjointe. En théorie de l'information, l'entropie conjointe est une mesure d'entropie utilisée en théorie de l'information, qui mesure la quantité d'information contenue dans un système de deux variables aléatoires (ou plus de deux). Comme les autres entropies, l'entropie conjointe est mesurée en bits ou en nats, selon la base du logarithme utilisée. Si chaque paire d'états possibles des variables aléatoires ont une probabilité alors l'entropie conjointe de et est définie par : où est la fonction logarithme en base 2.

EE-613: Machine Learning for Engineers

The objective of this course is to give an overview of machine learning techniques used for real-world applications, and to teach how to implement and use them in practice. Laboratories will be done i

Description du projet:ME-454: Modelling and optimization of energy systems

Couvre la vue d'ensemble du projet, les organigrammes, la réconciliation des données et l'outil Belsim Vali pour la validation et la réconciliation des données dans les processus chimiques.

Analyse des Synergies Mains Kinématiques dans l'Installation Filaire-Harnais

Analyser les synergies cinématiques des mains lors de l'installation de câblage-harnais et comparer la portée-et-grasp aux synergies de manipulation.

Compression des données : Définition de l'entropie CS-119(c): Information, Computation, Communication

Explore la compression des données par la définition, les types et les exemples pratiques d'entropie, illustrant son rôle dans le stockage et la transmission efficaces de l'information.