Méthode de Monte-Carlo par chaînes de Markov

Les méthodes de Monte-Carlo par chaînes de Markov, ou méthodes MCMC pour Markov chain Monte Carlo en anglais, sont une classe de méthodes d'échantillonnage à partir de distributions de probabilité. Ces méthodes de Monte-Carlo se basent sur le parcours de chaînes de Markov qui ont pour lois stationnaires les distributions à échantillonner. Certaines méthodes utilisent des marches aléatoires sur les chaînes de Markov (algorithme de Metropolis-Hastings, échantillonnage de Gibbs), alors que d'autres algorithmes, plus complexes, introduisent des contraintes sur les parcours pour essayer d'accélérer la convergence (Monte Carlo Hybride, Surrelaxation successive). Ces méthodes sont notamment appliquées dans le cadre de l'inférence bayésienne. On se place dans un espace vectoriel de dimension finie n. On veut générer aléatoirement des vecteurs suivant une distribution de probabilité . On veut donc avoir une suite de vecteurs telle que la distribution des approche . Les méthodes de Monte-Carlo par chaînes de Markov consistent à générer un vecteur uniquement à partir de la donnée du vecteur ; c'est donc un processus « sans mémoire », ce qui caractérise les chaînes de Markov. Il faut donc trouver un générateur aléatoire avec une distribution de probabilité qui permette de générer à partir de . On remplace ainsi le problème de génération avec une distribution par problèmes de génération avec des distributions , que l'on espère plus simples. On veut simuler une loi sur un espace d'états général . Une transition sur est une application telle que pour tout est mesurable et pour tout est une probabilité sur . Soit une chaîne de Markov homogène de transition et de loi initiale , on note la loi de la chaîne . Pour simuler , on veut savoir construire une transition telle que , avec convergence en norme en variation totale . La chaîne de transition est ergodique. La dernière condition, délicate, est satisfaite dans les cas de l'échantillonnage de Gibbs et de l'algorithme de Metropolis-Hastings.