Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Concept
Loi de probabilité d'entropie maximale
Résumé
En statistique et en théorie de l'information, une loi de probabilité d'entropie maximale a une entropie qui est au moins aussi grande que celle de tous les autres membres d'une classe spécifiée de lois de probabilité. Selon le principe d'entropie maximale, si rien n'est connu sur une loi , sauf qu'elle appartient à une certaine classe (généralement définie en termes de propriétés ou de mesures spécifiées), alors la loi avec la plus grande entropie doit être choisie comme la moins informative par défaut. La motivation est double : premièrement, maximiser l'entropie minimise la quantité d'informations a priori intégrées à la loi ; deuxièmement, de nombreux systèmes physiques ont tendance à évoluer vers des configurations d'entropie maximale au fil du temps.
Si X est une variable aléatoire discrète de loi donnée par
alors l'entropie de est définie comme
Si est une variable aléatoire continue de loi de probabilité p(x), alors l'entropie différentielle de X est définie par
La quantité p(x) log p(x) est considérée comme nulle chaque fois que p(x) = 0.
Il s'agit d'un cas particulier des formes plus générales décrites dans les articles Entropie (théorie de l'information), Principe d'entropie maximale et Entropie différentielle. Dans le cadre des lois d'entropie maximale, c'est la seule nécessaire, car la maximisation de maximisera également les formes plus générales.
La base du logarithme n'est pas importante tant que la même est utilisée de manière cohérente : le changement de base entraîne simplement une remise à l'échelle de l'entropie. Les théoriciens de l'information peuvent préférer utiliser la base 2 pour exprimer l'entropie en bits ; les mathématiciens et les physiciens préféreront souvent le logarithme naturel, résultant en une unité de nats pour l'entropie.
Le choix de la mesure dx est pourtant cruciale pour déterminer l'entropie et la loi d'entropie maximale qui en résulte, même si l'utilisation habituelle à la mesure de Lebesgue est souvent défendue comme "naturel".
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Proximité ontologique
Cours associés (32)
CS-101: Advanced information, computation, communication I
Discrete mathematics is a discipline with applications to almost all areas of study. It provides a set of indispensable tools to computer science in particular. This course reviews (familiar) topics a
PHYS-231: Data analysis for Physics
Ce cours présentera les bases de l'analyse des données et de l'apprentissage à partir des données, l'estimation des erreurs et la stochasticité en physique. Les concepts seront introduits théoriquemen
EE-559: Deep learning
This course explores how to design reliable discriminative and generative neural networks, the ethics of data acquisition and model deployment, as well as modern multi-modal models.
Publications associées (283)
Personnes associées (40)
Unités associées (4)
Concepts associés (16)
Loi de Laplace (probabilités)
En théorie des probabilités et en statistiques, la loi (distribution) de Laplace est une densité de probabilité continue, portant le nom de Pierre-Simon de Laplace. On la connaît aussi sous le nom de loi double exponentielle, car sa densité peut être vue comme l'association des densités de deux lois exponentielles, accolées dos à dos. La loi de Laplace s'obtient aussi comme résultat de la différence de deux variables exponentielles indépendantes.
Entropie différentielle
Differential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average (surprisal) of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP).
Loi de Rayleigh
En probabilités et en statistiques, la loi de Rayleigh, est une loi de probabilité à densité. Elle apparaît comme la norme d'un vecteur gaussien bi-dimensionnel dont les coordonnées sont indépendantes, centrées et de même variance. Cette loi de probabilité est baptisée d'après Lord Rayleigh. Typiquement, la distance D à laquelle une particule se trouve de son point de départ, après avoir effectué n pas d'une marche aléatoire symétrique dans le plan, suit approximativement une loi de Rayleigh de paramètre .