Data redundancyIn computer main memory, auxiliary storage and computer buses, data redundancy is the existence of data that is additional to the actual data and permits correction of errors in stored or transmitted data. The additional data can simply be a complete copy of the actual data (a type of repetition code), or only select pieces of data that allow detection of errors and reconstruction of lost or damaged data up to a certain level.
Information contentIn information theory, the information content, self-information, surprisal, or Shannon information is a basic quantity derived from the probability of a particular event occurring from a random variable. It can be thought of as an alternative way of expressing probability, much like odds or log-odds, but which has particular mathematical advantages in the setting of information theory. The Shannon information can be interpreted as quantifying the level of "surprise" of a particular outcome.
Filtration (probabilités)En théorie des probabilités, une filtration est une famille de tribus dans l'ordre croissant et chaque prédécesseur est un sous-ensemble du successeur, c'est-à-dire pour les éléments de filtration . Avec la filtration on modélise le flux d'informations. Chaque élément de la famille a l'information sur les événements qui étaient observables au temps . Soient un espace de probabilité et . La famille des sous-tribu est une filtration si ordonnée par ordre croissant, cela signifie pour tout . est un espace de probabilité filtré.
Matrice génératriceUne matrice génératrice est un concept de théorie des codes utilisé dans le cas des codes linéaires. Elle correspond à la matrice de l'application linéaire de E l'espace vectoriel des messages à communiquer dans F, l'espace vectoriel contenant les codes transmis. La notion de matrice génératrice possède à la fois un intérêt théorique dans le cadre de l'étude des codes correcteurs, par exemple pour définir la notion de code systématique, et un intérêt pratique pour une implémentation efficace.
Code préfixeUn code préfixe (ou code instantané) est un code ayant la particularité de ne posséder aucun mot du code ayant pour préfixe un autre mot du code. Autrement dit, aucun mot du code (ou symbole) d'un code préfixe ne peut se prolonger pour donner un autre mot du code (ou symbole). C'est une propriété souvent recherchée pour les codes à longueur variable, afin de pouvoir les décoder lorsque plusieurs symboles sont concaténés les uns aux autres sans qu'il soit nécessaire d'utiliser des séparateurs (les séparateurs rendent préfixes des codes non préfixes).
Binary erasure channelIn coding theory and information theory, a binary erasure channel (BEC) is a communications channel model. A transmitter sends a bit (a zero or a one), and the receiver either receives the bit correctly, or with some probability receives a message that the bit was not received ("erased") . A binary erasure channel with erasure probability is a channel with binary input, ternary output, and probability of erasure . That is, let be the transmitted random variable with alphabet .
Théorème de Shannon-HartleyEn théorie de l'information, le théorème de Shannon-Hartley indique le débit maximal auquel l'information peut être transmise sur un canal de communication d'une bande passante spécifiée en présence de bruit. Il s'agit d'une application du théorème du codage de canal au cas archétypal du canal de communication analogique à temps continu soumis à un bruit gaussien.
Constant false alarm rateLa détection par Constant false alarm rate, CFAR, (taux de fausse alarme constant, TFAC) fait référence à une forme classique d'algorithme adaptatif utilisée dans les radars pour isoler le signal retour d'une cible d'un bruit de fond important, de brouillage et d'interférences. Il existe également d'autres algorithmes de détection qui, eux, ne sont pas adaptatifs. On parle alors parfois de clairvoyant detectors (détecteurs « clairvoyants »).
Code à longueur variableDans la théorie des codes, le code à longueur variable est un code qui associe les symboles de la source à un nombre variable de bits. Les codes à longueur variable peuvent permettre à la source d'être compressée et décompressée avec une erreur nulle: il s'agit d'une compression sans perte. L'opération inverse du codage est alors possible pour chaque symbole. À partir d'une bonne stratégie de codage, une source i.i.d peut être compressée arbitrairement proche de son entropie, ce qui permet par exemple d'associer des mots longs aux symboles sources les moins fréquents.
Canal binaire symétriqueAlice veut transmettre un message à Bob. Un canal binaire symétrique est un canal discret où Alice transmet une suite d’éléments de l'ensemble et où la probabilité d'erreur dans la transmission d'un symbole est de , pour 0 et pour 1 (d'où la symétrie). Ce canal est sans mémoire, c'est-à-dire qu'aucune archive des messages n'est conservée. En communication, un problème classique est d'envoyer de l'information d'une source à une destination via un canal de communication, en présence de bruit.
