Publication
ON THE INEQUALITIES IN INFORMATION THEORY
Concepts associés (43)
Entropie de Rényi
L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
List of convolutions of probability distributions
In probability theory, the probability distribution of the sum of two or more independent random variables is the convolution of their individual distributions. The term is motivated by the fact that the probability mass function or probability density function of a sum of independent random variables is the convolution of their corresponding probability mass functions or probability density functions respectively. Many well known distributions have simple convolutions. The following is a list of these convolutions.
Entropie différentielle
Differential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average (surprisal) of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP).
Indicateur de tendance centrale
vignette|Diagramme d'une loi binomiale avec des indicateurs de tendance centrale (comme la moyenne au centre). En statistique, un indicateur de tendance centrale est une valeur résumant une série statistique pour une variable quantitative ou ordinale. Les deux principaux sont la moyenne et la médiane, mais on trouve parfois aussi la valeur centrale (moyenne des valeurs minimale et maximale) ou le mode. Ce dernier n’étant pas nécessairement unique pour une série statistique, sa définition ne s’obtient pas directement comme une fonction des termes de la série.
Uplet
vignette|Coordonnées XYZ. Basé sur le travail d'InductiveLoad En mathématiques, un uplet (désigné aussi par liste , famille finie, ou suite finie) est une collection ordonnée finie d'objets. Plus précisément, si n est un entier naturel, alors un n-uplet, ou n-uple, ou n-liste est une collection ordonnée de n objets, appelés « composantes » ou « éléments » ou « termes » du n-uplet. En programmation informatique, on trouve une notion équivalente dans certains langages, tels que Python, Rust, OCaml, Scala, Swift ou MDX.
Constructible polygon
In mathematics, a constructible polygon is a regular polygon that can be constructed with compass and straightedge. For example, a regular pentagon is constructible with compass and straightedge while a regular heptagon is not. There are infinitely many constructible polygons, but only 31 with an odd number of sides are known. Some regular polygons are easy to construct with compass and straightedge; others are not.
Laboratoires Bell
Nokia Bell Labs , plus connus sous l'appellation de Bell Labs, ou Les Bell Labs), furent fondés en 1925 et implantés à Murray Hill dans l'État américain du New Jersey. En 2009, ils font partie du centre de recherche et développement d'Alcatel-Lucent racheté en 2016 par Nokia. Les Laboratoires Bell ont déposé jusqu'en 2012 plus de . Les recherches menées par les Laboratoires Bell ont pris une importance capitale dans des domaines tels que les télécommunications (réseau téléphonique, transmission télévisuelle, communications satellite) et l'informatique (Unix, C et C++).
A Mathematical Theory of Communication
A Mathematical Theory of Communication, paru en 1948, est un article du mathématicien américain Claude Shannon qui a fondé la théorie de l'information. Shannon l'a aussi publié comme partie du livre : The Mathematical Theory of Communication, où son texte, inchangé, est précédé d'un chapitre de Warren Weaver. L'article A Mathematical Theory of Communication est publié en deux parties en 1948, dans les numéros de juillet et d'octobre du Bell System Technical Journal.
Inégalité de Jensen
En mathématiques, et plus précisément en analyse, l’inégalité de Jensen est une relation utile et très générale concernant les fonctions convexes, due au mathématicien danois Johan Jensen et dont il donna la preuve en 1906. On peut l'écrire de deux manières : discrète ou intégrale. Elle apparaît notamment en analyse, en théorie de la mesure et en probabilités (théorème de Rao-Blackwell), mais également en physique statistique, en mécanique quantique et en théorie de l'information (sous le nom d'inégalité de Gibbs).
Inégalité de Gibbs
vignette|Willard Gibbs. En théorie de l'information, l'inégalité de Gibbs, nommée en l'honneur de Willard illard Gibbs.Gibbs, porte sur l'entropie d'une distribution de probabilités. Elle sert à prouver de nombreux résultats en théorie de l'information. Soient deux distributions de probabilités et , alors Le cas d'égalité se produit si et seulement si pour tout . D'après l'inégalité de Jensen, puisque le logarithme est concave, Cela équivaut à et montre donc l'inégalité.