Publication
A Functional Perspective on Information Measures
Concepts associés (64)
Information mutuelle
Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Théorie de l'information
La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Entropie de Shannon
En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Mesure (mathématiques)
En mathématiques, une mesure positive (ou simplement mesure quand il n'y a pas de risque de confusion) est une fonction qui associe une grandeur numérique à certains sous-ensembles d'un ensemble donné. Il s'agit d'un important concept en analyse et en théorie des probabilités. Intuitivement, la mesure d'un ensemble ou sous-ensemble est similaire à la notion de taille, ou de cardinal pour les ensembles discrets. Dans ce sens, la mesure est une généralisation des concepts de longueur, aire ou volume dans des espaces de dimension 1, 2 ou 3 respectivement.
Probabilité
vignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.
Mesure extérieure
La notion de mesure extérieure (ou mesure extérieure au sens de Carathéodory) est un concept, dû au mathématicien Constantin Carathéodory, qui généralise dans un cadre axiomatique une construction utilisée par Henri Lebesgue pour définir la mesure de Lebesgue des parties Lebesgue-mesurables de la droite réelle. Soit un ensemble.
Espace vectoriel normé
Un espace vectoriel normé (EVN) est un espace vectoriel muni d'une norme. Cette structure mathématique développe des propriétés géométriques de distance compatible avec les opérations de l'algèbre linéaire. Développée notamment par David Hilbert et Stefan Banach, cette notion est fondamentale en analyse et plus particulièrement en analyse fonctionnelle, avec l'utilisation d'espaces de Banach tels que les espaces L. Norme (mathématiques) Soit K un corps commutatif muni d'une valeur absolue, et non discret (par exemple le corps des réels ou des complexes).
Espace de Banach
En mathématiques, plus particulièrement en analyse fonctionnelle, on appelle espace de Banach un espace vectoriel normé sur un sous-corps K de C (en général, K = R ou C), complet pour la distance issue de sa norme. Comme la topologie induite par sa distance est compatible avec sa structure d’espace vectoriel, c’est un espace vectoriel topologique. Les espaces de Banach possèdent de nombreuses propriétés qui font d'eux un outil essentiel pour l'analyse fonctionnelle. Ils doivent leur nom au mathématicien polonais Stefan Banach.
Entropie de Rényi
L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Information quantique
La théorie de l'information quantique, parfois abrégée simplement en information quantique, est un développement de la théorie de l'information de Claude Shannon exploitant les propriétés de la mécanique quantique, notamment le principe de superposition ou encore l'intrication. L'unité qui est utilisée pour quantifier l'information quantique est le qubit, par analogie avec le bit d'information classique.