Entropie différentielleDifferential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average (surprisal) of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP).
Science de l'informationLa science de l'information (ou les sciences de l'information) est un champ disciplinaire ayant pour objet scientifique l'information, lequel est principalement concerné par l'analyse, la collecte, la classification, la manipulation, le stockage, la récupération, la circulation, la diffusion et la protection de l'information. Les praticiens, qu'ils travaillent ou non sur le terrain, étudient l'application et l'utilisation des connaissances dans les organisations, ainsi que l'interaction entre les personnes, les organisations et tout système d'information existant, dans le but de créer, remplacer, améliorer ou comprendre les systèmes d'information.
Sous-additivitéEn mathématiques, une fonction f est dite sous-additive lorsque, pour tous les éléments x et y, . Cela n'a de sens que si l'ensemble de définition et l'ensemble d'arrivée de la fonction sont munis chacun d'une addition +, et si l'ensemble d'arrivée est muni d'une relation d'ordre ≤. Plus généralement, toute fonction concave telle que est sous-additive. Le module dans (par inégalité triangulaire). Les normes dans des espaces vectoriels normés. La fonction . Les fonctions puissances d'exposant .
ResteEn mathématiques, le résultat d’une division est un quotient et un reste. Le reste est nul si le quotient des deux nombres de la division est exact, sinon ce quotient est approximatif. Une division est dite euclidienne quand son dividende, son diviseur et son quotient sont des nombres entiers naturels. Dans une division euclidienne, le produit du quotient et du diviseur plus le reste est égal au dividende, et le reste est un entier naturel strictement inférieur au diviseur.
Inégalité (mathématiques)En mathématiques, une inégalité est une formule reliant deux expressions numériques avec un symbole de comparaison. Une inégalité stricte compare nécessairement deux valeurs différentes tandis qu’une inégalité large reste valable en cas d’égalité. Contrairement à une interprétation étymologique, la négation d’une égalité (avec le symbole ≠) n’est pas considérée comme une inégalité et se traite différemment. Les inégalités permettent d’encadrer ou de distinguer des valeurs réelles, de préciser une approximation, de justifier le comportement asymptotique d’une série ou d’une intégrale.
Semi-normeEn mathématiques, une semi-norme est une application d'un espace vectoriel dans l'ensemble des réels positifs. C'est « presque » une norme mais une propriété est manquante : la semi-norme d'un vecteur non nul peut être nulle. En analyse fonctionnelle, cette situation est relativement courante. L'espace vectoriel est un espace de fonctions d'un espace mesuré à valeurs dans les réels ou complexes. La semi-norme correspond par exemple à l'intégrale de la valeur absolue ou du module de la fonction.
Division euclidiennethumb|Écriture de la division euclidienne de 30 par 7, le quotient est 4 et le reste 2.En mathématiques, et plus précisément en arithmétique, la division euclidienne ou division entière est une procédure de calcul qui, à deux entiers naturels appelés dividende et diviseur, associe deux autres entiers appelés quotient (quotient euclidien s'il y a ambiguïté) et reste. Initialement définie pour deux entiers naturels non nuls, elle se généralise aux entiers relatifs.
