Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Problème de la mesure quantiqueLe problème de la mesure quantique consiste en un ensemble de problèmes, qui mettent en évidence des difficultés de corrélation entre les postulats de la mécanique quantique et le monde macroscopique tel qu'il nous apparaît ou tel qu'il est mesuré.
Information gain (decision tree)In information theory and machine learning, information gain is a synonym for Kullback–Leibler divergence; the amount of information gained about a random variable or signal from observing another random variable. However, in the context of decision trees, the term is sometimes used synonymously with mutual information, which is the conditional expected value of the Kullback–Leibler divergence of the univariate probability distribution of one variable from the conditional distribution of this variable given the other one.
Mesure physiqueLa mesure physique est l'action de déterminer la ou les valeurs d'une grandeur (longueur, capacité), par comparaison avec une grandeur constante de même espèce prise comme terme de référence (étalon ou unité). Selon la définition canonique : La mesure physique vise à l'objectivité et à la reproductibilité. La comparaison est numérique ; on exprime une caractéristique bien définie de l'objet par un nombre rationnel multipliant l'unité.
Système d'unitésUn système d'unités est un ensemble d'unités de mesure couramment employées dans des domaines d'activité humaine, présentant des caractères de cohérence qui en facilitent l'usage entre les organisations d'une société humaine. Historiquement, les systèmes d'unités ont été d'une grande importance, soumis à réglementation et définis dans des domaines scientifiques et commerciaux. Depuis que les civilisations se sont développées, les hommes ont cherché à développer des systèmes d'unités cohérents, afin de faciliter les échanges, tant scientifiques, que culturels, économiques, et financiers.
Quantities of informationThe mathematical theory of information is based on probability theory and statistics, and measures information with several quantities of information. The choice of logarithmic base in the following formulae determines the unit of information entropy that is used. The most common unit of information is the bit, or more correctly the shannon, based on the binary logarithm.
Rapport signal sur bruitEn électronique, le rapport signal sur bruit (SNR, ) est le rapport des puissances entre la partie du signal qui représente une information et le reste, qui constitue un bruit de fond. Il est un indicateur de la qualité de la transmission d'une information. L'expression d'un rapport signal sur bruit se fonde implicitement sur le principe de superposition, qui pose que le signal total est la somme de ces composantes. Cette condition n'est vraie que si le phénomène concerné est linéaire.
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Unité de mesureEn physique et en métrologie, une est une . Une unité de mesure peut être définie à partir de constantes fondamentales ou par un étalon, utilisé pour la mesure. Les systèmes d'unités, définis en cherchant le plus large accord dans le domaine considéré, sont rendus nécessaires par la méthode scientifique, dont l'un des fondements est la reproductibilité des expériences (donc des mesures), ainsi que par le développement des échanges d'informations commerciales ou industrielles.
