Information mutuelle et entropie

Dans cours

Description

Cette séance de cours couvre les concepts d'information mutuelle et d'entropie, explorant la relation entre l'entropie différentielle et l'entropie discrète. Emre Telatar explique le calcul de l'information mutuelle entre les variables aléatoires et l'impact de la quantification sur l'entropie.

Connectez-vous pour regarder la vidéo

Enseignant

Source officielle

https://mediaspace.epfl.ch/media/0_6doutih3

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Séances de cours associées (53)

Concepts associés (56)

Space–time block code

Space–time block coding is a technique used in wireless communications to transmit multiple copies of a data stream across a number of antennas and to exploit the various received versions of the data to improve the reliability of data transfer. The fact that the transmitted signal must traverse a potentially difficult environment with scattering, reflection, refraction and so on and may then be further corrupted by thermal noise in the receiver means that some of the received copies of the data may be closer to the original signal than others.

MIMO (télécommunications)

Multiple-Input Multiple-Output ou MIMO (« entrées multiples, sorties multiples » en français) est une technique de multiplexage utilisée dans les radars, réseaux sans fil et les réseaux mobiles permettant des transferts de données à plus longue portée et avec un débit plus élevé qu’avec des antennes utilisant la technique SISO (Single-Input Single-Output). Alors que les anciens réseaux Wi-Fi ou les réseaux GSM standards utilisent une seule antenne au niveau de l'émetteur et du récepteur, MIMO utilise plusieurs antennes tant au niveau de l'émetteur (par exemple un routeur) que du récepteur (par exemple un PC portable ou un smartphone).

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

PDP-11

thumb|PDP-11 à l'université du Michigan Un PDP-11 est un modèle d'ordinateur de la gamme des PDP (Programmable Data Processor) construit par Digital Equipment Corporation (DEC) entre 1970 et 1993. Tous les PDP-11 sont 16 bits et entrent dans la classe des mini-ordinateurs. Ils furent extrêmement populaires car ils alliaient modularité, un excellent rapport qualité/prix, et leur utilisation n'était pas cantonnée à un seul secteur d'application : on les retrouvait aussi bien dans les laboratoires de physique pour faire de l'acquisition de données que dans les cabinets comptables.

Variance (mathématiques)

vignette|Exemple d'échantillons pour deux populations ayant la même moyenne mais des variances différentes. La population en rouge a une moyenne de 100 et une variance de 100 (écart-type = SD = standard deviation = 10). La population en bleu a une moyenne de 100 et une variance de (écart-type = SD = 50). En statistique et en théorie des probabilités, la variance est une mesure de la dispersion des valeurs d'un échantillon ou d'une variable aléatoire.