Théorie ergodiquevignette|Flux d'un ensemble statistique dans le potentiel x6 + 4*x3 - 5x**2 - 4x. Sur de longues périodes, il devient tourbillonnant et semble devenir une distribution lisse et stable. Cependant, cette stabilité est un artefact de la pixellisation (la structure réelle est trop fine pour être perçue). Cette animation est inspirée d'une discussion de Gibbs dans son wikisource de 1902 : Elementary Principles in Statistical Mechanics, Chapter XII, p. 143 : « Tendance d'un ensemble de systèmes isolés vers un état d'équilibre statistique ».
ErgodicityIn mathematics, ergodicity expresses the idea that a point of a moving system, either a dynamical system or a stochastic process, will eventually visit all parts of the space that the system moves in, in a uniform and random sense. This implies that the average behavior of the system can be deduced from the trajectory of a "typical" point. Equivalently, a sufficiently large collection of random samples from a process can represent the average statistical properties of the entire process.
Chaîne de Markovvignette|Exemple élémentaire de chaîne de Markov, à deux états A et E. Les flèches indiquent les probabilités de transition d'un état à un autre. En mathématiques, une chaîne de Markov est un processus de Markov à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »).
Processus de décision markovienEn théorie de la décision et de la théorie des probabilités, un processus de décision markovien (en anglais Markov decision process, MDP) est un modèle stochastique où un agent prend des décisions et où les résultats de ses actions sont aléatoires. Les MDPs sont utilisés pour étudier des problèmes d'optimisation à l'aide d'algorithmes de programmation dynamique ou d'apprentissage par renforcement. Les MDPs sont connus depuis les années 1950. Une grande contribution provient du travail de Ronald A.
Mixing (mathematics)In mathematics, mixing is an abstract concept originating from physics: the attempt to describe the irreversible thermodynamic process of mixing in the everyday world: e.g. mixing paint, mixing drinks, industrial mixing. The concept appears in ergodic theory—the study of stochastic processes and measure-preserving dynamical systems. Several different definitions for mixing exist, including strong mixing, weak mixing and topological mixing, with the last not requiring a measure to be defined.
Subshift of finite typeIn mathematics, subshifts of finite type are used to model dynamical systems, and in particular are the objects of study in symbolic dynamics and ergodic theory. They also describe the set of all possible sequences executed by a finite state machine. The most widely studied shift spaces are the subshifts of finite type. Let V be a finite set of n symbols (alphabet). Let X denote the set V^\Z of all bi-infinite sequences of elements of V together with the shift operator T. We endow V with the discrete topology and X with the product topology.
John von NeumannJohn von Neumann (János Lajos Neumann) (, János Lajos Neumann en hongrois), né le à Budapest et mort le à Washington, est un mathématicien et physicien américano-hongrois. Il a apporté d'importantes contributions en mécanique quantique, en analyse fonctionnelle, en logique mathématique, en informatique théorique, en sciences économiques et dans beaucoup d'autres domaines des mathématiques et de la physique. Il a de plus participé aux programmes militaires américains.
Matrice stochastiqueEn mathématiques, une matrice stochastique (aussi appelée matrice de Markov) est une matrice carrée (finie ou infinie) dont chaque élément est un réel positif et dont la somme des éléments de chaque ligne vaut 1. Cela correspond, en théorie des probabilités, à la matrice de transition d'une chaîne de Markov. Une matrice est dite stochastique si toutes ses entrées sont positives (ou nulles) et si, pour tout , on a c'est-à-dire que la somme des coordonnées de chaque ligne vaut 1.
