Algorithme de ViterbiL'algorithme de Viterbi, d'Andrew Viterbi, permet de corriger, dans une certaine mesure, les erreurs survenues lors d'une transmission à travers un canal bruité. Son utilisation s'appuie sur la connaissance du canal bruité, c'est-à-dire la probabilité qu'une information ait été modifiée en une autre, et permet de simplifier radicalement la complexité de la recherche du message d'origine le plus probable. D'exponentielle, cette complexité devient linéaire.
Ensemble statistiqueEn physique statistique, un ensemble statistique est une abstraction qui consiste à considérer une collection de copies virtuelles (ou répliques) d'un système physique dans l'ensemble des états accessibles où il est susceptible de se trouver, compte tenu des contraintes extérieures qui lui sont imposées, telles le volume, le nombre de particules, l'énergie et la température. Cette notion, introduite par le physicien américain Josiah Willard Gibbs en 1902, est un concept central de la physique statistique.
Principe d'entropie maximaleLe principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. De toutes ces distributions, c'est en effet celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser.
