Redondance (théorie de l'information)

En théorie de l’information, la redondance correspond au nombre de bits nécessaires pour transmettre un message auquel on soustrait le nombre de bits correspondant aux informations réellement contenues dans ce même message. Officieusement, la redondance correspond à l’« espace » utilisé mais non occupé pour transmettre certaines données. La compression de données permet de réduire ou d’éliminer la redondance que l’utilisateur ne désire pas conserver, alors que les sommes de contrôle permettent d’ajouter une redondance souhaitée pour les besoins du code correcteur lorsque l’utilisateur communique sur un canal bruyant à capacité limitée. Dans la description de la redondance de données brutes, le taux d’entropie d’une source d’informations correspond à son entropie moyenne par symbole. Pour les sources dites sans mémoire, ce taux correspond simplement à l’entropie de chaque symbole, tandis que, dans la plupart des cas généraux d’un processus stochastique, il correspond à la limite, quand n tend vers l’infini, de l’entropie conjointe des premiers symboles n divisée par n. En théorie de l’information, on parle généralement de "taux" ou de l’"entropie" d’une langue. Cela s’applique, par exemple, lorsque la source d’informations est en prose anglaise. Le taux d’une source sans mémoire est simplement , étant donné que, par définition, il n’existe aucune interdépendance entre les messages successifs d’une source sans mémoire. Le taux absolu d’une langue ou d’une source correspond tout simplement au logarithme de la cardinalité de l’espace du message, ou de l’alphabet utilisé. (Cette formule est parfois nommée Entropie de Hartley.) Il correspond au taux maximal possible d’informations qui peuvent être transmises grâce à cet alphabet. (Le logarithme doit être ramené à une base appropriée pour l’unité de mesure utilisée.) Le taux absolu équivaut au taux réel si la source est sans mémoire et suit une loi uniforme discrète. La redondance absolue peut alors être définie comme étant la différence entre le taux et le taux absolu.