Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
TranscodageLe transcodage, en vidéo ou en audio, est le fait de changer le format de codage d'un média (voir aussi codage et codec) d'une source pour traiter un média audio ou vidéo ou véhiculer un signal analogique ou numérique. Plus généralement, le terme transcodage est utilisé lorsque l'on change la manière de coder une information. À partir du XXe siècle avec l'apparition des technologiques de retransmission du son et de l'image telles que la radiodiffusion et la télévision, différentes normes et standards voient le jour dans de multiples parties du monde.
Codecalt=Codec MPEG-4 utilisé par VLC|vignette|Symbole graphique du codec MPEG-4 utilisé par VLC Un codec est un dispositif matériel ou logiciel permettant de mettre en œuvre l'encodage ou le décodage d'un flux de données numérique, en vue d'une transmission ou d'un stockage. Certains codec intègrent également une fonction de compression ou encore de chiffrement des données. L'acronyme « codec » vient de « codeur décodeur » (coder-decoder en anglais). Il est important de bien distinguer les notions de codec, de norme et de format conteneur.
Loi de probabilité marginaleEn théorie des probabilités et en statistique, la loi marginale d'un vecteur aléatoire, c'est-à-dire d'une variable aléatoire à plusieurs dimensions, est la loi de probabilité d'une de ses composantes. Autrement dit, la loi marginale est une variable aléatoire obtenue par « projection » d'un vecteur contenant cette variable. Par exemple, pour un vecteur aléatoire , la loi de la variable aléatoire est la deuxième loi marginale du vecteur. Pour obtenir la loi marginale d'un vecteur, on projette la loi sur l'espace unidimensionnel de la coordonnée recherchée.
Loi normale multidimensionnelleEn théorie des probabilités, on appelle loi normale multidimensionnelle, ou normale multivariée ou loi multinormale ou loi de Gauss à plusieurs variables, la loi de probabilité qui est la généralisation multidimensionnelle de la loi normale. gauche|vignette|Différentes densités de lois normales en un dimension. gauche|vignette|Densité d'une loi gaussienne en 2D. Une loi normale classique est une loi dite « en cloche » en une dimension.
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Entropy productionEntropy production (or generation) is the amount of entropy which is produced during heat process to evaluate the efficiency of the process. Entropy is produced in irreversible processes. The importance of avoiding irreversible processes (hence reducing the entropy production) was recognized as early as 1824 by Carnot. In 1865 Rudolf Clausius expanded his previous work from 1854 on the concept of "unkompensierte Verwandlungen" (uncompensated transformations), which, in our modern nomenclature, would be called the entropy production.
Matrice de HadamardUne matrice de Hadamard est une matrice carrée dont les coefficients sont tous 1 ou –1 et dont les lignes sont toutes orthogonales entre elles. Le nom retenu pour ces matrices rend hommage au mathématicien français Jacques Hadamard. Des exemples de telles matrices avaient été donnés par James Joseph Sylvester. Pour une matrice d'ordre , la propriété d'orthogonalité des colonnes peut également s'écrire sous la forme où In est la matrice identité d'ordre et t est la matrice transposée de .
Entropie conditionnelleEn théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire , lorsque l'on connait exactement une variable aléatoire . On note l'entropie conditionnelle de sachant . On dit aussi parfois entropie de conditionnée par . Comme les autres entropies, elle se mesure généralement en bits. On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe.
Codage par plagesLe codage par plages ou codage par longueur de plage(appelé en anglais Run-Length Encoding/RLE) est un algorithme de compression de données sans perte qui repose sur l'idée de comprimer des plages de valeurs identiques en signalant le nombre de fois qu'une valeur donnée devrait être répétée. Considérons un ensemble de données contenant des plages de valeurs répétées comme suit. aaaabcccccd Cet ensemble pourrait être représenté ainsi par un système de codage par plages: a4b1c5d1 Dans cette représentation, des caractères ont été épargnés aux deux endroits dans l'ensemble où se trouvaient des caractères répétés.
