GMRES

En mathématique, la généralisation de la méthode de minimisation du résidu (ou GMRES, pour Generalized minimal residual) est une méthode itérative pour déterminer une solution numérique d'un système d'équations linéaires. La méthode donne une approximation de la solution par un vecteur appartenant à un sous-espace de Krylov avec un résidu minimal. Pour déterminer ce vecteur, on utilise la . La méthode GMRES fut développée par Yousef Saad et Martin H. Schultz en 1986. On cherche à résoudre le système d'équations linéaires suivant : La matrice A est supposée inversible et de taille (m x m). De plus, on suppose que b est normé, i.e., (dans cet article, représente la norme euclidienne). Le n-ième espace de Krylov pour ce problème est défini ainsi : où Vect signifie le sous-espace vectoriel engendré par les vecteurs. La méthode GMRES donne une approximation de la solution exacte du système de départ par un vecteur qui minimise la norme du résidu : . Pour garantir le caractère linéairement indépendant des vecteurs b, Ab, ..., Ab, on utilise la méthode d'Arnoldi pour trouver des vecteurs orthonormaux qui constituent une base de . Ainsi, le vecteur peut s'écrire x = Q y avec , et Q une matrice de taille (m x n) formée des q, ..., q. La méthode d'Arnoldi produit aussi une matrice de Hessenberg supérieure de taille (n+1) x n avec Comme Q est orthogonale, on a où est le premier vecteur de la base canonique de , et avec x vecteur d'initialisation (pour simplifier, on peut prendre zéro). Ainsi, x peut être trouvé en minimisant la norme du résidu On reconnait un problème linéaire de moindres carrés de taille n. L'algorithme se résume donc en : effectuer une étape de l'algorithme d'Arnoldi ; trouver y qui minimise r ; calculer x = Q y ; recommencer tant que le résidu est plus grand qu'une quantité choisie arbitrairement au début de l'algorithme (on appelle cette quantité tolérance). À chaque itération, un produit matrice-vecteur A q doit être effectué.