Redondance (théorie de l'information)En théorie de l’information, la redondance correspond au nombre de bits nécessaires pour transmettre un message auquel on soustrait le nombre de bits correspondant aux informations réellement contenues dans ce même message. Officieusement, la redondance correspond à l’« espace » utilisé mais non occupé pour transmettre certaines données. La compression de données permet de réduire ou d’éliminer la redondance que l’utilisateur ne désire pas conserver, alors que les sommes de contrôle permettent d’ajouter une redondance souhaitée pour les besoins du code correcteur lorsque l’utilisateur communique sur un canal bruyant à capacité limitée.
Logarithme binaireEn mathématiques, le logarithme binaire (log2 n) est le logarithme de base 2. C’est la fonction réciproque de la fonction puissance de deux : x ↦ 2x. Le logarithme binaire de x est la puissance à laquelle le nombre 2 doit être élevé pour obtenir la valeur x, soit : . Ainsi, le logarithme binaire de 1 est 0, le logarithme binaire de 2 est 1, le logarithme binaire de 4 est 2, le logarithme binaire de 8 est 3. On le ld () (pour logarithmus dualis), mais la norme ISO 80000-2 indique que log2(x) devrait être symbolisé par lb (x).
Nat (information)vignette|Unités de mesure de l'information. Un nat (parfois aussi appelé nit ou nepit) est une unité logarithmique de mesure de l'information ou de l'entropie, basée sur le logarithme néperien et les puissances de e plutôt que sur le logarithme en base 2 qui définit le bit. Le nat est l'unité naturelle pour l'entropie en théorie de l'information. Les systèmes d'unités naturelles qui normalisent la constante de Boltzmann à 1 mesurent effectivement une entropie en nats.
Entropie conjointevignette|Entropie conjointe. En théorie de l'information, l'entropie conjointe est une mesure d'entropie utilisée en théorie de l'information, qui mesure la quantité d'information contenue dans un système de deux variables aléatoires (ou plus de deux). Comme les autres entropies, l'entropie conjointe est mesurée en bits ou en nats, selon la base du logarithme utilisée. Si chaque paire d'états possibles des variables aléatoires ont une probabilité alors l'entropie conjointe de et est définie par : où est la fonction logarithme en base 2.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Unité de mesure en informatiqueLes unités de mesure suivantes sont utilisées en informatique pour quantifier la taille de la mémoire d'un dispositif numérique (ordinateur, Baladeur numérique), l'espace utilisable sur un disque dur, une clé USB, la taille d'un fichier, d'un répertoire ou autre.
Diversity indexA diversity index is a quantitative measure that reflects how many different types (such as species) there are in a dataset (a community), and that can simultaneously take into account the phylogenetic relations among the individuals distributed among those types, such as richness, divergence or evenness. These indices are statistical representations of biodiversity in different aspects (richness, evenness, and dominance).
Entropy rateIn the mathematical theory of probability, the entropy rate or source information rate of a stochastic process is, informally, the time density of the average information in a stochastic process. For stochastic processes with a countable index, the entropy rate is the limit of the joint entropy of members of the process divided by , as tends to infinity: when the limit exists. An alternative, related quantity is: For strongly stationary stochastic processes, .
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Formule de Boltzmannthumb|Sur la tombe de Ludwig Boltzmann En physique statistique, la formule de Boltzmann (1877) définit l'entropie microcanonique d'un système physique à l'équilibre macroscopique, libre d'évoluer à l'échelle microscopique entre micro-états différents. Elle s'écrit : où est la constante de Boltzmann qui est égale à . est appelé le nombre de complexions du système ou nombre de configurations.
