Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Enthalpie libreL’enthalpie libre, appelée aussi énergie libre de Gibbs ou simplement énergie de Gibbs, est une fonction d'état extensive introduite par Willard Gibbs, et généralement notée G. Le changement d'enthalpie libre correspond au travail maximal qui peut être extrait d'un système fermé à température et pression fixes, hors le travail dû à la variation de volume. L'enthalpie libre est reliée à l'enthalpie par la formule (où désigne la température et l'entropie), à l'énergie libre par la relation (où désigne la pression et le volume) et à l'énergie interne par la relation .
Code de répétitionLe code de répétition est une solution simple pour se prémunir des erreurs de communication dues au bruit dans un canal binaire symétrique. C'est une technique de codage de canal, c'est-à-dire un code correcteur. Il s'agit d'envoyer plusieurs copies de chaque bit à être transmis. Autrement dit, ce code de répétition encode la transmission des bits ainsi (sur trois bits) : La première chaîne de caractères est appelée le 0 logique et la deuxième, le 1 logique puisqu'elles jouent le rôle de 0 et 1 respectivement.
Exact solutions in general relativityIn general relativity, an exact solution is a solution of the Einstein field equations whose derivation does not invoke simplifying assumptions, though the starting point for that derivation may be an idealized case like a perfectly spherical shape of matter. Mathematically, finding an exact solution means finding a Lorentzian manifold equipped with tensor fields modeling states of ordinary matter, such as a fluid, or classical non-gravitational fields such as the electromagnetic field.
Thermodynamic free energyIn thermodynamics, the thermodynamic free energy is one of the state functions of a thermodynamic system (the others being internal energy, enthalpy, entropy, etc.). The change in the free energy is the maximum amount of work that the system can perform in a process at constant temperature, and its sign indicates whether the process is thermodynamically favorable or forbidden. Since free energy usually contains potential energy, it is not absolute but depends on the choice of a zero point.
Équilibre thermodynamiquevignette|200px|Exemple d'équilibre thermodynamique de deux systèmes, en l'occurrence deux phases : l'équilibre liquide-vapeur du brome. En thermodynamique, un équilibre thermodynamique correspond à l'état d'un système ne subissant aucune évolution à l'échelle macroscopique. Les grandeurs intensives caractérisant ce système (notamment la pression, la température et les potentiels chimiques) sont alors homogènes dans l'espace et constantes dans le temps.
Entropie différentielleDifferential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average (surprisal) of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP).
Capacité d'un canalLa capacité d'un canal, en génie électrique, en informatique et en théorie de l'information, est la limite supérieure étroite du débit auquel l'information peut être transmise de manière fiable sur un canal de communication. Suivant les termes du théorème de codage du canal bruyant, la capacité d'un canal donné est le débit d'information le plus élevé (en unités d'information par unité de temps) qui peut être atteint avec une probabilité d'erreur arbitrairement faible. La théorie de l'information, développée par Claude E.
Canal de communication (théorie de l'information)vignette En théorie de l'information, un canal de communication ou canal de transmission est un support (physique ou non) permettant la transmission d'une certaine quantité d'information, depuis une source (ou émetteur) vers un destinataire (ou récepteur). Souvent, le canal altère l'information transmise, par exemple en ajoutant un bruit aléatoire. La quantité d'information qu'un canal de communication peut transporter est limitée : on parle de capacité du canal.
Block codeIn coding theory, block codes are a large and important family of error-correcting codes that encode data in blocks. There is a vast number of examples for block codes, many of which have a wide range of practical applications. The abstract definition of block codes is conceptually useful because it allows coding theorists, mathematicians, and computer scientists to study the limitations of all block codes in a unified way.
