F-divergenceIn probability theory, an -divergence is a function that measures the difference between two probability distributions and . Many common divergences, such as KL-divergence, Hellinger distance, and total variation distance, are special cases of -divergence. These divergences were introduced by Alfréd Rényi in the same paper where he introduced the well-known Rényi entropy. He proved that these divergences decrease in Markov processes.
Distance en variation totale (probabilités)En mathématiques et plus particulièrement en théorie des probabilités et en statistique, la distance en variation totale (ou distance de variation totale ou encore distance de la variation totale) désigne une distance statistique définie sur l'ensemble des mesures de probabilité d'un espace probabilisable. Soit deux mesures de probabilité sur un espace probabilisable . La distance en variation totale entre et est la quantité Il arrive que le facteur 2 n'apparaisse pas chez certains auteurs.
Distance statistiquevignette|Représentation de la distance en variation totale (en gris) entre deux fonctions de densité En mathématiques, et plus précisément en théorie des probabilités et en statistique, la notion de distance statistique sert à mesurer l'écart entre deux lois de probabilité. Les distances statistiques sont notamment utilisées en théorie de l'information, en statistique, en apprentissage automatique, et en cryptologie. Lorsqu'aucune précision n'est donnée, la « distance statistique » entre deux lois fait généralement référence à la distance en variation totale.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Produit scalaireEn mathématiques, et plus précisément en algèbre et en géométrie vectorielle, le produit scalaire est une opération algébrique s'ajoutant aux lois s'appliquant aux vecteurs. C'est une forme bilinéaire, symétrique, définie positive. À deux vecteurs, elle associe un scalaire, c'est-à-dire un nombre tel que ceux qui définissent cet espace vectoriel — réel pour un espace vectoriel réel. Si et sont deux vecteurs d'un espace vectoriel E sur le corps R des nombres réels, alors le produit scalaire de u par v est un scalaire (c'est-à-dire un élément de R), noté ∙ , , , ou .
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Norme (mathématiques)En géométrie, la norme est une extension de la valeur absolue des nombres aux vecteurs. Elle permet de mesurer la longueur commune à toutes les représentations d'un vecteur dans un espace affine, mais définit aussi une distance entre deux vecteurs invariante par translation et compatible avec la multiplication externe. La norme usuelle dans le plan ou l'espace est dite euclidienne car elle est associée à un produit scalaire, à la base de la géométrie euclidienne.
Produit vectorielEn mathématiques, et plus précisément en géométrie, le produit vectoriel est une opération vectorielle effectuée dans les espaces euclidiens orientés de dimension 3. Le formalisme utilisé actuellement est apparu en 1881 dans un manuel d'analyse vectorielle écrit par Josiah Willard Gibbs pour ses étudiants en physique. Les travaux de Hermann Günther Grassmann et William Rowan Hamilton sont à l'origine du produit vectoriel défini par Gibbs.
Sine and cosineIn mathematics, sine and cosine are trigonometric functions of an angle. The sine and cosine of an acute angle are defined in the context of a right triangle: for the specified angle, its sine is the ratio of the length of the side that is opposite that angle to the length of the longest side of the triangle (the hypotenuse), and the cosine is the ratio of the length of the adjacent leg to that of the hypotenuse. For an angle , the sine and cosine functions are denoted simply as and .
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
