Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Théorie des réseauxvignette|Graphe partiel de l'internet, basé sur les données de opte.org du 15 janvier 2005 (voir description de l'image pour plus de détails) La théorie des réseaux est l'étude de graphes en tant que représentation d'une relation symétrique ou asymétrique entre des objets discrets. Elle s'inscrit dans la théorie des graphes : un réseau peut alors être défini comme étant un graphe où les nœuds (sommets) ou les arêtes (ou « arcs », lorsque le graphe est orienté) ont des attributs, comme une étiquette (tag).
Climate as complex networksThe field of complex networks has emerged as an important area of science to generate novel insights into nature of complex systems The application of network theory to climate science is a young and emerging field. To identify and analyze patterns in global climate, scientists model climate data as complex networks. Unlike most real-world networks where nodes and edges are well defined, in climate networks, nodes are identified as the sites in a spatial grid of the underlying global climate data set, which can be represented at various resolutions.
Réseau complexeEn théorie des graphes, un réseau complexe est un réseau possédant une architecture et une topologie complexe et irrégulière. Comme tous les réseaux, ils sont composés de nœuds (ou sommets ou points) représentant des objets, interconnectés par des liens (ou arêtes ou lignes). Ces réseaux sont des représentations abstraites des relations principalement présentes dans la vie réelle dans une grande diversité de systèmes biologiques et technologiques.
Entropie différentielleDifferential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average (surprisal) of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP).
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Entropie minEn probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p1... pn est : La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2-b. L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables.
Réseau socialEn sciences humaines et sociales, l'expression réseau social désigne un agencement de liens entre des individus ou des organisations, constituant un groupement qui a un sens : la famille, les collègues, un groupe d'amis, une communauté, etc. L'anthropologue australien John Arundel Barnes a introduit l'expression en 1954. L'analyse des réseaux sociaux est devenue une spécialité universitaire dans le champ de la sociologie, se fondant sur la théorie des réseaux et l'usage des graphes.
Système complexevignette|Visualisation sous forme de graphe d'un réseau social illustrant un système complexe. Un système complexe est un ensemble constitué d'un grand nombre d'entités en interaction dont l'intégration permet d'achever un but commun. Les systèmes complexes sont caractérisés par des propriétés émergentes qui n'existent qu'au niveau du système et ne peuvent pas être observées au niveau de ses constituants. Dans certains cas, un observateur ne peut pas prévoir les rétroactions ou les comportements ou évolutions des systèmes complexes par le calcul, ce qui amène à les étudier à l'aide de la théorie du chaos.
