LogitLa fonction logit est une fonction mathématique utilisée principalement en statistiques et pour la régression logistique, en intelligence artificielle (réseaux neuronaux), en inférence bayésienne pour transformer les probabilités sur [0,1] en évidence sur R afin d'une part d'éviter des renormalisations permanentes, et d'autre part de rendre additive la formule de Bayes pour faciliter les calculs. Son expression est où p est défini sur ]0, 1[ La base du logarithme utilisé est sans importance, tant que celle-ci est supérieure à 1.
BitLe bit est l'unité la plus simple dans un système de numération, ne pouvant prendre que deux valeurs, désignées le plus souvent par les chiffres 0 et 1. Un bit peut représenter aussi bien une alternative logique, exprimée par faux et vrai, qu'un « chiffre binaire », binary digit en anglais, dont le mot bit, qui signifie « morceau », est aussi l'abréviation. Dans la théorie de l'information, un bit est la quantité minimale d'information transmise par un message, et constitue à ce titre l'unité de mesure de base de l'information en informatique.
Logarithmevignette|Tracés des fonctions logarithmes en base 2, e et 10. En mathématiques, le logarithme (de logos : rapport et arithmos : nombre) de base d'un nombre réel strictement positif est la puissance à laquelle il faut élever la base pour obtenir ce nombre. Dans le cas le plus simple, le logarithme compte le nombre d'occurrences du même facteur dans une multiplication répétée : comme 1000 = 10×10×10 = 10, le logarithme en base 10 de 1000 est 3. Le logarithme de en base est noté : . John Napier a développé les logarithmes au début du .
Enigma (machine)vignette|Logo d’Enigma.|alt=« ENIGMA » en bleu sur fond noir dans un ovale. La taille des lettres suit la forme de l’ovale. vignette|Enigma, machine de chiffrement électromécanique à cylindres ; la version ci-dessus est un modèle militaire suisse, avec console de lecture supplémentaire. vignette|Tableau de permutations. Enigma est une machine électromécanique portative servant au chiffrement et au déchiffrement de l'information. Elle fut inventée par l'Allemand Arthur Scherbius, reprenant un brevet du Néerlandais Hugo Koch, datant de 1919.
Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
