Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948. Parmi les branches importantes de la théorie de l'information de Shannon, on peut citer : le codage de l'information ; la mesure quantitative de redondance d'un texte ; la compression de données ; la cryptographie. Dans un sens plus général, une théorie de l'information vise à quantifier et qualifier la notion de contenu en information présent dans un ensemble de données dans un certain contexte. Elle est à distinguer la théorie algorithmique de l'information, créée par Kolmogorov, Solomonoff et Chaitin au début des années 1960. Mesurer l'information a été rendu nécessaire par les recherches d'efficacité sur les systèmes de télécommunication. L'origine de ces recherches remonte aux études entreprises dès la fin du , en physique et en mathématique par Boltzmann et Markov sur la notion de probabilité d'un événement et les possibilités de mesure de cette probabilité. Plus récemment, avant la Seconde Guerre mondiale, les contributions les plus importantes sont dues à la collaboration des mathématiciens et des ingénieurs des télécommunications, qui ont été amenés à envisager les propriétés théoriques de tout système de signaux utilisé par les opérateurs, vivants ou techniques, à des fins de communication entre un émetteur et un récepteur, par un canal bruité ou non, dans un contexte donné. vignette|droite|Modèle de la communication de Shannon et Weaver. À la suite des travaux de Hartley (1928), Shannon (1948) détermine l'information comme grandeur mesurable, sinon observable et formalise avec elle une théorie de la communication qu'il élabore avec Warren Weaver.

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Catégories associées (119)

Concepts associés (57)

Cours associés (12)

Séances de cours associées (186)

Personnes associées (15)

Publications associées (72)

Symmetry in design and decoding of polar-like codes

Kirill Ivanov

The beginning of 21st century provided us with many answers about how to reach the channel capacity. Polarization and spatial coupling are two techniques for achieving the capacity of binary memoryles

EPFL2022

Environmental policies: designing acceptable road pricing and voluntary waste sorting schemes

Linda Melina Tesauro

Growing urban population implies many challenges for the municipalities in terms of mobility, housing, waste management or infrastructures. Public policies are thus needed to ensure a sustainable deve

EPFL2022

Active Debris Removal missions consist of sending a satellite in space and removing one or more debris from their current orbit. A key challenge is to obtain information about the uncooperative target

EPFL2022

COM-102: Advanced information, computation, communication II

Text, sound, and images are examples of information sources stored in our computers and/or communicated over the Internet. How do we measure, compress, and protect the informatin they contain?

COM-406: Foundations of Data Science

We discuss a set of topics that are important for the understanding of modern data science but that are typically not taught in an introductory ML course. In particular we discuss fundamental ideas an

EE-543: Advanced wireless receivers

Students extend their knowledge on wireless communication systems to spread-spectrum communication and to multi-antenna systems. They also learn about the basic information theoretic concepts, about c

Code correcteur

vignette|Pour nettoyer les erreurs de transmission introduites par l'atmosphère terrestre (à gauche), les scientifiques de Goddard ont appliqué la correction d'erreur Reed-Solomon (à droite), qui est couramment utilisée dans les CD et DVD. Les erreurs typiques incluent les pixels manquants (blanc) et les faux signaux (noir). La bande blanche indique une brève période pendant laquelle la transmission a été interrompue.

Matrice de contrôle

Une matrice de contrôle est un concept de théorie des codes utilisé dans le cas des codes correcteurs linéaires. Elle correspond à la matrice d'une application linéaire ayant pour noyau le code. La notion de matrice de contrôle possède à la fois un intérêt théorique dans le cadre de l'étude des codes correcteurs, par exemple pour offrir des critères sur la distance minimale du code ou une condition nécessaire et suffisante pour qu'un code soit parfait et un intérêt pratique pour un décodage efficace.

Entropy rate

In the mathematical theory of probability, the entropy rate or source information rate of a stochastic process is, informally, the time density of the average information in a stochastic process. For stochastic processes with a countable index, the entropy rate is the limit of the joint entropy of members of the process divided by , as tends to infinity: when the limit exists. An alternative, related quantity is: For strongly stationary stochastic processes, .

Théorie des codes

En théorie de l'information, la théorie des codes traite des codes et de leurs propriétés et de leurs aptitudes à servir sur différents canaux de communication. On distingue deux modèles de communication : avec et sans bruit. Sans bruit, le codage de source suffit à la communication. Avec bruit, la communication est possible avec les codes correcteurs. En définissant l'information de façon mathématique, l'étape fondatrice de la théorie des codes a été franchie par Claude Shannon.

Capacité d'un canal

La capacité d'un canal, en génie électrique, en informatique et en théorie de l'information, est la limite supérieure étroite du débit auquel l'information peut être transmise de manière fiable sur un canal de communication. Suivant les termes du théorème de codage du canal bruyant, la capacité d'un canal donné est le débit d'information le plus élevé (en unités d'information par unité de temps) qui peut être atteint avec une probabilité d'erreur arbitrairement faible. La théorie de l'information, développée par Claude E.

Modulation du signal

En télécommunications, le signal transportant une information doit passer par un moyen de transmission entre un émetteur et un récepteur. Le signal est rarement adapté à la transmission directe par le canal de communication choisi, hertzien, filaire, ou optique. La modulation peut être définie comme le processus par lequel le signal est transformé de sa forme originale en une forme adaptée au canal de transmission, par exemple en faisant varier les paramètres d'amplitude et d'argument (phase/fréquence) d'une onde sinusoïdale appelée porteuse.

Explore l'opérateur CHSH, l'auto-test, les eigenstates et la quantification du hasard dans les systèmes quantiques.

Explore le codage de canal en mettant l'accent sur les codes convolutifs, en mettant l'accent sur les processus de détection, de correction et de décodage des erreurs.

Couvre les bases de la théorie de l'information, en se concentrant sur le réglage de Shannon et la transmission de canal.