A Mathematical Theory of Communication, paru en 1948, est un article du mathématicien américain Claude Shannon qui a fondé la théorie de l'information. Shannon l'a aussi publié comme partie du livre : The Mathematical Theory of Communication, où son texte, inchangé, est précédé d'un chapitre de Warren Weaver.
L'article A Mathematical Theory of Communication est publié en deux parties en 1948, dans les numéros de juillet et d'octobre du Bell System Technical Journal. Il constitue le fondement théorique de la théorie de l'information et, par ricochet, il a marqué la théorie des télécommunications. Shannon a ensuite, en 1949, publié le livre The Mathematical Theory of Communication, plus tard publié en livre de poche en 1963. Le titre subit un léger changement, passant de Mathematical Theory... à Mathematical Theory..., c'est-à-dire de « théorie mathématique... » à « Théorie mathématique... ». Le livre comprend également un article rédigé par Warren Weaver, qui offre un aperçu de récents développements de la théorie.
thumb|upright=1.75|Diagramme de Shannon d'un système de communications général, qui présente le processus de création d'un message.
L'article de Shannon a notablement influencé l'étude de la transmission et de la réception de l'information. Il a été cité plus de fois. Il pose les éléments de base de la théorie de la communication :
une source d'information, qui produit un message ;
un transmetteur (transmitter), qui encode le message dans le but de créer un signal à envoyer dans un canal ;
un canal, le médium qui transporte le signal et donc l'information du message ;
du bruit (noise), qui dégrade la qualité du signal ;
un récepteur (receiver), qui décode le signal dans le but de remettre le message ;
une destinataire (destination), une personne ou un objet, pour laquelle le message a été conçu.
Dans l'article, il introduit le mot « bit » (qu'il attribue au mathématicien John Tukey) en tant qu'unité d'information. Shannon développe les concepts d'entropie de Shannon et de redondance.
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Study of the essential components and implementation technologies of digital signal processing and communication systems from the theoretical, algorithmic and system implementation point of view.
L'objectif de ce cours est d'introduire les étudiants à la pensée algorithmique, de les familiariser avec les fondamentaux de l'Informatique et de développer une première compétence en programmation (
Explore la compression des données, y compris les méthodes sans perte et la nécessité de la compression sans perte pour les nombres réels et les signaux.
Le shannon est une unité de mesure logarithmique de l'information. L'unité est égale à l'information contenue dans un bit dont la valeur est imprévisible et les deux valeurs également probables. 1 Sh ≈ 0,693 nat ≈ 0,301 . La quantité d'information contenue dans un message est ainsi le nombre de bits minimal pour le transmettre ; soit le logarithme en base 2 du nombre de possibilités de messages différents dans le même code. La compression de données consiste à rapprocher le nombre de bits du nombre de shannons.
En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Claude Elwood Shannon in 1948, then of the Bell Labs, published one of the ground breaking papers in the history of engineering [1]. This paper (”A Mathematical Theory of Communication”, Bell System Tech. Journal, Vol. 27, July and October 1948, pp. 379 - ...