Conditional mutual informationIn probability theory, particularly information theory, the conditional mutual information is, in its most basic form, the expected value of the mutual information of two random variables given the value of a third. For random variables , , and with support sets , and , we define the conditional mutual information as This may be written in terms of the expectation operator: . Thus is the expected (with respect to ) Kullback–Leibler divergence from the conditional joint distribution to the product of the conditional marginals and .
Inégalité de ChernoffEn théorie des probabilités, l'inégalité de Chernoff permet de majorer la queue d'une loi de probabilité, c'est-à-dire qu'elle donne une valeur maximale de la probabilité qu'une variable aléatoire dépasse une valeur fixée. On parle également de borne de Chernoff. Elle est nommée ainsi en l'honneur du mathématicien Herman Chernoff. Elle est comparable à l'inégalité de Markov mais donne une borne exponentielle. Il existe de nombreux énoncés, et de nombreux cas particuliers.
Entropy rateIn the mathematical theory of probability, the entropy rate or source information rate of a stochastic process is, informally, the time density of the average information in a stochastic process. For stochastic processes with a countable index, the entropy rate is the limit of the joint entropy of members of the process divided by , as tends to infinity: when the limit exists. An alternative, related quantity is: For strongly stationary stochastic processes, .
Uncorrelatedness (probability theory)In probability theory and statistics, two real-valued random variables, , , are said to be uncorrelated if their covariance, , is zero. If two variables are uncorrelated, there is no linear relationship between them. Uncorrelated random variables have a Pearson correlation coefficient, when it exists, of zero, except in the trivial case when either variable has zero variance (is a constant). In this case the correlation is undefined.
Loi d'ErlangLa distribution d'Erlang est une loi de probabilité continue, dont l'intérêt est dû à sa relation avec les distributions exponentielle et Gamma. Cette distribution a été développée par Agner Krarup Erlang afin de modéliser le nombre d'appels téléphoniques simultanés. La distribution est continue et possède deux paramètres : le paramètre de forme , un entier, et le paramètre d'intensité , un réel. On utilise parfois une paramétrisation alternative, où on considère plutôt le paramètre d'échelle .
NéguentropieLa néguentropie est une « entropie négative », une variation générant une baisse du degré de désorganisation d'un système. Elle équivaut par conséquent à un facteur d'organisation des systèmes physiques, biologiques, écologiques et éventuellement sociaux et humains, qui s'oppose à la tendance naturelle à la désorganisation (entropie). Elle est une caractéristique essentielle des êtres vivants. Pour désigner la néguentropie, dans certains contextes, on emploie aussi parfois le nom de syntropie (nom proposé par Albert Szent-Györgyi).
Inégalité de HoeffdingEn théorie des probabilités, l’inégalité de Hoeffding est une inégalité de concentration concernant les sommes de variables aléatoires indépendantes et bornées. Elle tire son nom du mathématicien et statisticien finlandais Wassily Hoeffding. Il existe une version plus générale de cette inégalité, concernant une somme d'accroissements de martingales, accroissements là encore bornés : cette version plus générale est parfois connue sous le nom d'inégalité d'Azuma-Hoeffding.
Information diagramAn information diagram is a type of Venn diagram used in information theory to illustrate relationships among Shannon's basic measures of information: entropy, joint entropy, conditional entropy and mutual information. Information diagrams are a useful pedagogical tool for teaching and learning about these basic measures of information. Information diagrams have also been applied to specific problems such as for displaying the information theoretic similarity between sets of ontological terms.
Inégalité (mathématiques)En mathématiques, une inégalité est une formule reliant deux expressions numériques avec un symbole de comparaison. Une inégalité stricte compare nécessairement deux valeurs différentes tandis qu’une inégalité large reste valable en cas d’égalité. Contrairement à une interprétation étymologique, la négation d’une égalité (avec le symbole ≠) n’est pas considérée comme une inégalité et se traite différemment. Les inégalités permettent d’encadrer ou de distinguer des valeurs réelles, de préciser une approximation, de justifier le comportement asymptotique d’une série ou d’une intégrale.
International inequalityInternational inequality refers to inequality between countries, as compared to global inequality, which is inequality between people across countries. International inequality research has primarily been concentrated on the rise of international income inequality, but other aspects include educational and health inequality, as well as differences in medical access. Reducing inequality within and among countries is the 10th goal of the UN Sustainable Development Goals and ensuring that no one is left behind is central to achieving them.
