Asymptotic equipartition propertyIn information theory, the asymptotic equipartition property (AEP) is a general property of the output samples of a stochastic source. It is fundamental to the concept of typical set used in theories of data compression. Roughly speaking, the theorem states that although there are many series of results that may be produced by a random process, the one actually produced is most probably from a loosely defined set of outcomes that all have approximately the same chance of being the one actually realized.
Typical setIn information theory, the typical set is a set of sequences whose probability is close to two raised to the negative power of the entropy of their source distribution. That this set has total probability close to one is a consequence of the asymptotic equipartition property (AEP) which is a kind of law of large numbers. The notion of typicality is only concerned with the probability of a sequence and not the actual sequence itself.
Nat (information)vignette|Unités de mesure de l'information. Un nat (parfois aussi appelé nit ou nepit) est une unité logarithmique de mesure de l'information ou de l'entropie, basée sur le logarithme néperien et les puissances de e plutôt que sur le logarithme en base 2 qui définit le bit. Le nat est l'unité naturelle pour l'entropie en théorie de l'information. Les systèmes d'unités naturelles qui normalisent la constante de Boltzmann à 1 mesurent effectivement une entropie en nats.
Largeur à mi-hauteurvignette|250x250px|Largeur à mi-hauteur (FWHM). vignette|upright=1.5|Cas d'un pic dissymétrique avec une ligne de fond inclinée. Une largeur à mi-hauteur (LMH, sigle rarement utilisé, ou, en anglais full width at half maximum, FWHM), formule rapide pour largeur à mi-hauteur du maximum du pic, est une expression de l'amplitude d'une fonction. Elle est définie par le Federal Standard 1037C comme la . La norme stipule en outre que lorsque la variable indépendante est le temps, il est préférable de parler de durée à mi-hauteur (en anglais full duration at half maximum, FDHM).
Information ethicsInformation ethics has been defined as "the branch of ethics that focuses on the relationship between the creation, organization, dissemination, and use of information, and the ethical standards and moral codes governing human conduct in society". It examines the morality that comes from information as a resource, a product, or as a target. It provides a critical framework for considering moral issues concerning informational privacy, moral agency (e.g.
Divergence de BregmanEn mathématiques, la divergence de Bregman est une mesure de la différence entre deux distributions dérivée d'une fonction potentiel U à valeurs réelles strictement convexe et continûment différentiable. Le concept a été introduit par en 1967. Par l'intermédiaire de la transformation de Legendre, au potentiel correspond un potentiel dual et leur différentiation donne naissance à deux systèmes de coordonnées duaux. Soit une fonction à valeurs réelles, strictement convexe et continûment différentiable définie sur un domaine convexe fermé .
Error exponentIn information theory, the error exponent of a channel code or source code over the block length of the code is the rate at which the error probability decays exponentially with the block length of the code. Formally, it is defined as the limiting ratio of the negative logarithm of the error probability to the block length of the code for large block lengths. For example, if the probability of error of a decoder drops as , where is the block length, the error exponent is . In this example, approaches for large .
Binary entropy functionIn information theory, the binary entropy function, denoted or , is defined as the entropy of a Bernoulli process with probability of one of two values. It is a special case of , the entropy function. Mathematically, the Bernoulli trial is modelled as a random variable that can take on only two values: 0 and 1, which are mutually exclusive and exhaustive. If , then and the entropy of (in shannons) is given by where is taken to be 0. The logarithms in this formula are usually taken (as shown in the graph) to the base 2.
Théorème de Shannon-HartleyEn théorie de l'information, le théorème de Shannon-Hartley indique le débit maximal auquel l'information peut être transmise sur un canal de communication d'une bande passante spécifiée en présence de bruit. Il s'agit d'une application du théorème du codage de canal au cas archétypal du canal de communication analogique à temps continu soumis à un bruit gaussien.
Théorème du codage de canalEn théorie de l'information, le théorème du codage de canal aussi appelé deuxième théorème de Shannon montre qu'il est possible de transmettre des données numériques sur un canal bruité avec un taux d'erreur arbitrairement faible si le débit est inférieur à une certaine limite propre au canal. Ce résultat publié par Claude Shannon en 1948 est fondé sur des travaux antérieurs de Harry Nyquist et Ralph Hartley. La première preuve rigoureuse fut établie par Amiel Feinstein en 1954.
