Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Inégalité de Gibbsvignette|Willard Gibbs. En théorie de l'information, l'inégalité de Gibbs, nommée en l'honneur de Willard illard Gibbs.Gibbs, porte sur l'entropie d'une distribution de probabilités. Elle sert à prouver de nombreux résultats en théorie de l'information. Soient deux distributions de probabilités et , alors Le cas d'égalité se produit si et seulement si pour tout . D'après l'inégalité de Jensen, puisque le logarithme est concave, Cela équivaut à et montre donc l'inégalité.
Inégalité (mathématiques)En mathématiques, une inégalité est une formule reliant deux expressions numériques avec un symbole de comparaison. Une inégalité stricte compare nécessairement deux valeurs différentes tandis qu’une inégalité large reste valable en cas d’égalité. Contrairement à une interprétation étymologique, la négation d’une égalité (avec le symbole ≠) n’est pas considérée comme une inégalité et se traite différemment. Les inégalités permettent d’encadrer ou de distinguer des valeurs réelles, de préciser une approximation, de justifier le comportement asymptotique d’une série ou d’une intégrale.
Espace vectoriel quotientEn algèbre linéaire, l'espace vectoriel quotient E/F d'un espace vectoriel E par un sous-espace vectoriel F est la structure naturelle d'espace vectoriel sur l'ensemble quotient de E par la relation d'équivalence définie de la manière suivante : v est en relation avec w si et seulement si v – w appartient à F. C'est donc l'ensemble des classes [v] = v + F, où v parcourt E, muni des lois suivantes : somme vectorielle : [v] + [w] = [v + w] ; multiplication par un scalaire : λ [v] = [λ v].
Pair-aidanceLa pair-aidance est une trajectoire de rétablissement en santé, qui repose sur une entraide entre personnes étant ou ayant été atteintes d'une maladie somatique ou psychique. Cette pratique est de plus en plus recommandée dans le cadre de l'autonomisation des patients en santé mentale, d'une amélioration du respect des droits de l'homme en santé mentale ainsi que d'une condition pour accomplir l'idée de rétablissement en santé mentale (officiellement depuis 2005 au Québec, en lien avec plusieurs universités).
Coherence lengthIn physics, coherence length is the propagation distance over which a coherent wave (e.g. an electromagnetic wave) maintains a specified degree of coherence. Wave interference is strong when the paths taken by all of the interfering waves differ by less than the coherence length. A wave with a longer coherence length is closer to a perfect sinusoidal wave. Coherence length is important in holography and telecommunications engineering. This article focuses on the coherence of classical electromagnetic fields.
Inégalité de Bienaymé-TchebychevEn théorie des probabilités, l'inégalité de Bienaymé-Tchebychev, est une inégalité de concentration permettant de montrer qu'une variable aléatoire prendra avec une faible probabilité une valeur relativement lointaine de son espérance. Ce résultat s'applique dans des cas très divers, nécessitant la connaissance de peu de propriétés (seules l'espérance et la variance doivent être connues), et permet de démontrer la loi faible des grands nombres.
PresentThe present is the period of time that is occurring now. The present is contrasted with the past, the period of time that has already occurred, and the future, the period of time that has yet to occur. It is sometimes represented as a hyperplane in space-time, typically called "now", although modern physics demonstrates that such a hyperplane cannot be defined uniquely for observers in relative motion. The present may also be viewed as a duration.
Entropie de HartleyLa fonction de Hartley ou entropie de Hartley est une mesure de l'incertitude, introduite par Ralph Hartley en 1928. Si on choisit un échantillon d'un ensemble fini A de façon aléatoire et uniforme, l'information fournie une fois que la sortie est connue est l'entropie de Hartley. Si la base du logarithme est 2, alors l'incertitude se mesure en bits. S'il s'agit du logarithme naturel, alors l'unité est le nat. Hartley quant à lui utilisait le logarithme en base 10, et cette unité d'information est parfois appelée (symbole : hart) en son honneur, ou encore decit.
