Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948. Parmi les branches importantes de la théorie de l'information de Shannon, on peut citer : le codage de l'information ; la mesure quantitative de redondance d'un texte ; la compression de données ; la cryptographie. Dans un sens plus général, une théorie de l'information vise à quantifier et qualifier la notion de contenu en information présent dans un ensemble de données dans un certain contexte. Elle est à distinguer la théorie algorithmique de l'information, créée par Kolmogorov, Solomonoff et Chaitin au début des années 1960. Mesurer l'information a été rendu nécessaire par les recherches d'efficacité sur les systèmes de télécommunication. L'origine de ces recherches remonte aux études entreprises dès la fin du , en physique et en mathématique par Boltzmann et Markov sur la notion de probabilité d'un événement et les possibilités de mesure de cette probabilité. Plus récemment, avant la Seconde Guerre mondiale, les contributions les plus importantes sont dues à la collaboration des mathématiciens et des ingénieurs des télécommunications, qui ont été amenés à envisager les propriétés théoriques de tout système de signaux utilisé par les opérateurs, vivants ou techniques, à des fins de communication entre un émetteur et un récepteur, par un canal bruité ou non, dans un contexte donné. vignette|droite|Modèle de la communication de Shannon et Weaver. À la suite des travaux de Hartley (1928), Shannon (1948) détermine l'information comme grandeur mesurable, sinon observable et formalise avec elle une théorie de la communication qu'il élabore avec Warren Weaver.