Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Fonction objectifvignette|comparaison de certains substituts de la fonction de perte Le terme fonction objectif ou fonction économique, est utilisé en optimisation mathématique et en recherche opérationnelle pour désigner une fonction qui sert de critère pour déterminer la meilleure solution à un problème d'optimisation. Elle associe une valeur à une instance d'un problème d'optimisation. Le but du problème d'optimisation est alors de minimiser ou de maximiser cette fonction jusqu'à l'optimum, par différents procédés comme l'algorithme du simplexe.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Espace euclidienEn mathématiques, un espace euclidien est un objet algébrique permettant de généraliser de façon naturelle la géométrie traditionnelle développée par Euclide, dans ses Éléments. Une géométrie de cette nature modélise, en physique classique, le plan ainsi que l'espace qui nous entoure. Un espace euclidien permet également de traiter les dimensions supérieures ; il est défini par la donnée d'un espace vectoriel sur le corps des réels, de dimension finie, muni d'un produit scalaire, qui permet de « mesurer » distances et angles.
Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Euclidean distanceIn mathematics, the Euclidean distance between two points in Euclidean space is the length of a line segment between the two points. It can be calculated from the Cartesian coordinates of the points using the Pythagorean theorem, therefore occasionally being called the Pythagorean distance. These names come from the ancient Greek mathematicians Euclid and Pythagoras, although Euclid did not represent distances as numbers, and the connection from the Pythagorean theorem to distance calculation was not made until the 18th century.
Information quantiqueLa théorie de l'information quantique, parfois abrégée simplement en information quantique, est un développement de la théorie de l'information de Claude Shannon exploitant les propriétés de la mécanique quantique, notamment le principe de superposition ou encore l'intrication. L'unité qui est utilisée pour quantifier l'information quantique est le qubit, par analogie avec le bit d'information classique.
Aversion pour la pertevignette|Graphique de la valeur perçue du gain et de la perte par rapport à la valeur numérique stricte du gain et de la perte : Une perte de 0,05 estperc\cuecommeuneperted′utiliteˊbeaucoupplusimportantequel′augmentationd′utiliteˊd′ungainde0,05. L'aversion pour la perte est une notion issue de l'économie comportementale, elle est un biais comportemental qui fait que les humains attachent plus d'importance à une perte qu'à un gain du même montant. Information contentIn information theory, the information content, self-information, surprisal, or Shannon information is a basic quantity derived from the probability of a particular event occurring from a random variable. It can be thought of as an alternative way of expressing probability, much like odds or log-odds, but which has particular mathematical advantages in the setting of information theory. The Shannon information can be interpreted as quantifying the level of "surprise" of a particular outcome.
Espace pseudo-euclidienEn mathématiques, et plus particulièrement en géométrie, un espace pseudo-euclidien est une extension du concept d'espace euclidien, c'est-à-dire que c'est un espace vectoriel muni d'une forme bilinéaire (qui définirait la métrique dans le cas d'un espace euclidien), mais cette forme n'est pas définie positive, ni même positive. L'espace de Minkowski est un exemple d'espace pseudo-euclidien. Dans les espaces euclidiens, les notions de métrique et d'orthogonalité sont construites par l'adjonction d'un produit scalaire à un espace vectoriel réel de dimension finie.
