Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
ParameterA parameter (), generally, is any characteristic that can help in defining or classifying a particular system (meaning an event, project, object, situation, etc.). That is, a parameter is an element of a system that is useful, or critical, when identifying the system, or when evaluating its performance, status, condition, etc. Parameter has more specific meanings within various disciplines, including mathematics, computer programming, engineering, statistics, logic, linguistics, and electronic musical composition.
Paramètre d'échellevignette|Animation de la fonction de densité d'une loi normale (forme de cloche). L'écart-type est un paramètre d'échelle. En l'augmentant, on étale la distribution. En le diminuant, on la concentre. En théorie des probabilités et en statistiques, un paramètre d'échelle est un paramètre qui régit l'aplatissement d'une famille paramétrique de lois de probabilités. Il s'agit principalement d'un facteur multiplicatif. Si une famille de densités de probabilité, dépendant du paramètre θ est de la forme où f est une densité, alors θ est bien un paramètre d'échelle.
Divergence (statistiques)En statistiques, une divergence est une fonction ou une fonctionnelle qui mesure la dissimilarité d'une loi de probabilité par rapport à une autre. Selon le contexte, elles peuvent être définies pour des lois, des mesures positives (non-normalisées), des vecteurs (par exemple sur l'espace des paramètres si l'on considère un modèle paramétrique), ou encore des matrices. Les divergences sont analogues à des distances au carré et permettent de généraliser la notion de distance aux variétés statistiques, mais il s'agit d'une notion plus faible dans la mesure où elles ne sont en général pas symétriques et ne vérifient pas l'inégalité triangulaire.
Sciences de l'information et des bibliothèquesLes sciences de l'information et des bibliothèques (SIB) sont la convergence des deux champs disciplinaires que sont la bibliothéconomie et la science de l'information. Elles regroupent l'ensemble des savoirs et savoir-faire utiles à la gestion de l'information consignée. La notion de sciences de l'information se retrouve de plus en plus, depuis la fin du , dans les intitulés d'écoles ou de formations pour les professionnels de l'information consignée (personnes chargées de gérer une bibliothèque, un centre d'archives ou un service de documentation par exemple).
Divergence de BregmanEn mathématiques, la divergence de Bregman est une mesure de la différence entre deux distributions dérivée d'une fonction potentiel U à valeurs réelles strictement convexe et continûment différentiable. Le concept a été introduit par en 1967. Par l'intermédiaire de la transformation de Legendre, au potentiel correspond un potentiel dual et leur différentiation donne naissance à deux systèmes de coordonnées duaux. Soit une fonction à valeurs réelles, strictement convexe et continûment différentiable définie sur un domaine convexe fermé .
Ensemble de MandelbrotEn mathématiques, lensemble de Mandelbrot est une fractale définie comme l'ensemble des points c du plan complexe pour lesquels la suite de nombres complexes définie par récurrence par : est bornée. alt=Représentation de l'ensemble de Mandelbrot|vignette|L'ensemble de Mandelbrot (en noir) L'ensemble de Mandelbrot a été découvert par Gaston Julia et Pierre Fatou avant la Première Guerre mondiale. Sa définition et son nom actuel sont dus à Adrien Douady, en hommage aux représentations qu'en a réalisées Benoît Mandelbrot dans les années 1980.
Bibliothèque publiquevignette|250px|Bibliothèque publique moderne (Chambéry) Une bibliothèque publique est une bibliothèque tenue par une collectivité territoriale ou nationale ou tout autre type d'organisme public. Sa fonction consiste à donner accès au savoir, à l'information, à l'apprentissage tout au long de la vie, ainsi qu'aux œuvres de l'imagination par le biais d'une vaste registre de ressources, impliquant une diversité de médias, et des services qui sont disponibles équitablement à tous les membres de la communauté.
Statistique exhaustiveLes statistiques exhaustives sont liées à la notion d'information et en particulier à l'information de Fisher. Elles servent entre autres à améliorer des estimateurs grâce à l'usage du théorème de Rao-Blackwell et du théorème de Lehmann-Scheffé. Intuitivement, parler d'une statistique exhaustive revient à dire que cette statistique contient l'ensemble de l'information sur le(s) paramètre(s) de la loi de probabilité. Soit un vecteur d'observation de taille , dont les composantes sont indépendantes et identiquement distribués (iid).
