Entropie (thermodynamique)L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Tribu (mathématiques)En mathématiques, une tribu ou σ-algèbre (lire sigma-algèbre) ou plus rarement corps de Borel sur un ensemble X est un ensemble non vide de parties de X, stable par passage au complémentaire et par union dénombrable (donc aussi par intersection dénombrable). Les tribus permettent de définir rigoureusement la notion d'ensemble mesurable. Progressivement formalisées pendant le premier tiers du , les tribus constituent le cadre dans lequel s'est développée la théorie de la mesure.
1 (nombre)1 (un) est l'entier naturel représentant une entité seule — définition qui n'est autre qu'une pétition de principe. « Un » fait quelquefois référence à l'unité, et « unitaire » est quelquefois utilisé comme un adjectif dans ce sens (par exemple, un segment de longueur unitaire est un segment de longueur 1). Tous les systèmes de numération possèdent un chiffre pour signifier le nombre un. Un (chiffre) Le chiffre « un », symbolisé « 1 », est le chiffre arabe servant notamment à signifier le nombre un.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .